tracepoint event tracing 實踐

tracepoint 是一種 linux kernel 提供的一種觀測內(nèi)核事件的機制靶庙，其原理是內(nèi)核開發(fā)者在代碼中設置了靜態(tài)的 hook 點，使得用戶可以把自己的程序 attach 到任一 hook 點，這樣內(nèi)核每次執(zhí)行到 tracepoint 對應的代碼時就可以觸發(fā)用戶提供的程序執(zhí)行韵吨。

基于 tracepoint 機制主慰，linux 實現(xiàn)了一套 event based tracing 基礎設施，方便對整個系統(tǒng)進行一個觀測基括。

并不是所有的 tracepoint 都可以用來做 event tracing颜懊，僅當內(nèi)核代碼中把 trace 信息保存到 tracing buffer，并且定義了如何打印 trace 信息风皿，tracepoint 才能用來做 event tracing河爹。

本文分析一下使用 ebpf 庫創(chuàng)建 tracepoint 的大致原理和流程。loader ebpf 和 maps 的過程不再介紹桐款，主要分析和 perf event 相關的代碼實現(xiàn)咸这。

bpf 代碼直接使用的 bcc 的 execsnoop-bpf.c。

我們的 main.go 核心代碼如下

package main

import (
  ...
)

// we want to skip args filed when use binary.Read
type event struct {
    Pid       int32
    Ppid      int32
    Uid       uint32
    Retval    int32
    ArgsCount int32
    ArgsSize  uint32
    Comm      [16]int8
}

//go:generate go run github.com/cilium/ebpf/cmd/bpf2go -cc clang -cflags "-O2 -g -Wall -Werror" kern kern.c -- -I../../include -I/usr/include/x86_64-linux-gnu
func main() {
    fmt.Println("Hello eBPF!")
    if err := rlimit.RemoveMemlock(); err != nil {
        log.Fatal(err)
    }
    objs := kernObjects{}
    if err := loadKernObjects(&objs, nil); err != nil {
        log.Fatalf("loading objects: %s", err)
    }
    defer objs.Close()
    fmt.Println("load ebpf program finish")

    kpEnter, err := link.Tracepoint("syscalls", "sys_enter_execve", objs.TracepointSyscallsSysEnterExecve, nil)
    if err != nil {
        log.Fatalf("opening tracepoint: %s", err)
    }
    defer kpEnter.Close()
    kpExit, err := link.Tracepoint("syscalls", "sys_exit_execve", objs.TracepointSyscallsSysExitExecve, nil)
    if err != nil {
        log.Fatalf("opening tracepoint: %s", err)
    }
    defer kpExit.Close()

    rd, err := perf.NewReader(objs.Events, os.Getpagesize())
    if err != nil {
        log.Fatalf("opening perf reader: %s", err)
    }
    defer rd.Close()

    stopper := make(chan os.Signal, 1)
    signal.Notify(stopper, os.Interrupt, syscall.SIGTERM)
    go func() {
        <-stopper

        if err := rd.Close(); err != nil {
            log.Fatalf("closing ringbuf reader: %s", err)
        }
    }()

    log.Println("Waiting for events..")
    var event event
    fmt.Printf("%-10s%-10s%-16s%s\n", "Pid", "Ppid", "Comm", "Args")
    for {
        record, err := rd.Read()
        if err != nil {
            if errors.Is(err, ringbuf.ErrClosed) {
                log.Println("Received signal, exiting..")
                return
            }
            log.Printf("reading from reader: %s", err)
            continue
        }
        if record.LostSamples != 0 {
            log.Printf("perf event ring buffer full, dropped %d samples", record.LostSamples)
            continue
        }
        r := bytes.NewReader(record.RawSample)
        err = binary.Read(r, binary.LittleEndian, &event)
        if err != nil {
            log.Fatal("read err", err)
        }
        args, err := io.ReadAll(r)
        if err != nil {
            log.Fatalf("read err: %v", err)
        }
        argsz := string(bytes.ReplaceAll(args, []byte{0}, []byte{' '}))
        comm_ := make([]byte, 0, len(event.Comm))
        for _, c := range event.Comm {
            comm_ = append(comm_, byte(c))
        }
        comm := unix.ByteSliceToString(comm_)
        fmt.Printf("%-10d%-10d%-16s%s\n", event.Pid, event.Ppid, comm, argsz)
    }
}

main 程序中直接調(diào)用了 link.Tracepoint函數(shù)來創(chuàng)建對應的 Link魔眨。
Tracepoint函數(shù)主要做了以下操作

獲取一個對應 trace event 的 fd媳维，這個 trace event 由一個 id 唯一確定。獲取 trace event fd 核心原理是執(zhí)行了系統(tǒng)調(diào)用 perf_event_open遏暴。此時 pid 設置為 -1, 侄刽，perf event 的類型是 tracepoint, attr 的 config 設置為 trace event id。
將 ebpf 程序 attach 到 perf event 上朋凉。在支持 perf_event link 的服務器上州丹，直接把 ebpf 對應的 fd link 到 perf event 對應的 fd 上，這樣就實現(xiàn)了 attach。
在不支持 perf_event link 的服務器上墓毒，使用傳統(tǒng)的 attach 的方法吓揪。bpftool feature list_builtins link_types可以用來查看支持的 link type。

perf.NewReader 使用 maps 的 fd 創(chuàng)建 reader 的流程

創(chuàng)建 epoll 實例所计。原理是調(diào)用 syscall epoll_create柠辞，得到一個 epoll_fd
獲取一個 event fd 用于接收內(nèi)核事件通知
調(diào)用 epoll_ctl 將 event fd 添加 epoll 實例上，相當于向內(nèi)核注冊
對于每個 CPU主胧，創(chuàng)建一個對應的 perf event ring叭首。其原理也是調(diào)用 perf event open，不過這次調(diào)用 perf event open 時設置了 cpu 號讥裤，并且設置了 type 類型為 PERF_TYPE_SOFTWARE放棒。創(chuàng)建的 perf event ring 添加到 Reader 結構體的 rings 中，用于后續(xù)讀取

perf.Reader 原理

創(chuàng)建 reader 的時候己英，為每個 CPU 創(chuàng)建了一個 perf event ring间螟，并把 ring 添加 epoll 實例的 fd 列表中。reader 的時候就是在 epoll 實例上 wait损肛，每次 wait 可能會有多個 CPU 上有 event 發(fā)生做个，此時我們能知道有哪些 CPU 上有 event 讀粉楚，把這些 CPU 對應的 ring 放到 epollRings 列表中。只要 epollRings 列表中有未處理的數(shù)據(jù)，就不會執(zhí)行 epoll wait寞射。

readRecord 的原理

先讀取固定 size 的 perf event header旁瘫，根據(jù) header.type 判斷是 record lost 還是 record sample绰咽。

如果是 record sample, 先讀取一個 uint32粹污，可以知道這個 record 的大小，然后為 record 分配內(nèi)存并從 reader 中讀取數(shù)據(jù)

查看系統(tǒng)中支持的 tracepoint 列表

cat /sys/kernel/debug/tracing/available_events
當前系統(tǒng)上共有 1853 個tracepoint
等同于 perf list tracepoint | cat

tracepoint event tracing 實踐

perf.NewReader 使用 maps 的 fd 創(chuàng)建 reader 的流程

perf.Reader 原理

readRecord 的原理

查看系統(tǒng)中支持的 tracepoint 列表

相關系統(tǒng)調(diào)用