給大家推薦一個(gè)開(kāi)源的實(shí)時(shí)監(jiān)測(cè)故障：http://sinhub.cn/2019/07/getting-started-guide-of-sentry/

簡(jiǎn)介

strace常用來(lái)跟蹤進(jìn)程執(zhí)行時(shí)的系統(tǒng)調(diào)用和所接收的信號(hào)停做。 在Linux世界墨榄，進(jìn)程不能直接訪問(wèn)硬件設(shè)備几迄，當(dāng)進(jìn)程需要訪問(wèn)硬件設(shè)備(比如讀取磁盤(pán)文件蟀给，接收網(wǎng)絡(luò)數(shù)據(jù)等等)時(shí)敷硅，必須由用戶態(tài)模式切換至內(nèi)核態(tài)模式虱饿，通 過(guò)系統(tǒng)調(diào)用訪問(wèn)硬件設(shè)備。strace可以跟蹤到一個(gè)進(jìn)程產(chǎn)生的系統(tǒng)調(diào)用,包括參數(shù)绷跑，返回值拳恋，執(zhí)行消耗的時(shí)間。

輸出參數(shù)含義

root@ubuntu:/usr# strace cat /dev/null 
execve("/bin/cat", ["cat", "/dev/null"], [/* 22 vars */]) = 0
brk(0)                                  = 0xab1000
access("/etc/ld.so.nohwcap", F_OK)      = -1 ENOENT (No such file or directory)
mmap(NULL, 8192, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0x7f29379a7000
access("/etc/ld.so.preload", R_OK)      = -1 ENOENT (No such file or directory)
...
brk(0) = 0xab1000
brk(0xad2000) = 0xad2000
fstat(1, {st_mode=S_IFCHR|0620, st_rdev=makedev(136, 0), ...}) = 0
open("/dev/null", O_RDONLY) = 3
fstat(3, {st_mode=S_IFCHR|0666, st_rdev=makedev(1, 3), ...}) = 0
read(3, "", 32768) = 0
close(3) = 0
close(1) = 0
close(2) = 0
exit_group(0) = ?

每一行都是一條系統(tǒng)調(diào)用砸捏，等號(hào)左邊是系統(tǒng)調(diào)用的函數(shù)名及其參數(shù)谬运，右邊是該調(diào)用的返回值。
strace 顯示這些調(diào)用的參數(shù)并返回符號(hào)形式的值垦藏。strace 從內(nèi)核接收信息梆暖，而且不需要以任何特殊的方式來(lái)構(gòu)建內(nèi)核。

strace參數(shù)

-c 統(tǒng)計(jì)每一系統(tǒng)調(diào)用的所執(zhí)行的時(shí)間,次數(shù)和出錯(cuò)的次數(shù)等.
-d 輸出strace關(guān)于標(biāo)準(zhǔn)錯(cuò)誤的調(diào)試信息.
-f 跟蹤由fork調(diào)用所產(chǎn)生的子進(jìn)程.
-ff 如果提供-o filename,則所有進(jìn)程的跟蹤結(jié)果輸出到相應(yīng)的filename.pid中,pid是各進(jìn)程的進(jìn)程號(hào).
-F 嘗試跟蹤vfork調(diào)用.在-f時(shí),vfork不被跟蹤.
-h 輸出簡(jiǎn)要的幫助信息.
-i 輸出系統(tǒng)調(diào)用的入口指針.
-q 禁止輸出關(guān)于脫離的消息.
-r 打印出相對(duì)時(shí)間關(guān)于,,每一個(gè)系統(tǒng)調(diào)用.
-t 在輸出中的每一行前加上時(shí)間信息.
-tt 在輸出中的每一行前加上時(shí)間信息,微秒級(jí).
-ttt 微秒級(jí)輸出,以秒了表示時(shí)間.
-T 顯示每一調(diào)用所耗的時(shí)間.
-v 輸出所有的系統(tǒng)調(diào)用.一些調(diào)用關(guān)于環(huán)境變量,狀態(tài),輸入輸出等調(diào)用由于使用頻繁,默認(rèn)不輸出.
-V 輸出strace的版本信息.
-x 以十六進(jìn)制形式輸出非標(biāo)準(zhǔn)字符串
-xx 所有字符串以十六進(jìn)制形式輸出.
-a column
設(shè)置返回值的輸出位置.默認(rèn) 為40.
-e expr
指定一個(gè)表達(dá)式,用來(lái)控制如何跟蹤.格式如下:
[qualifier=][!]value1[,value2]...
qualifier只能是 trace,abbrev,verbose,raw,signal,read,write其中之一.value是用來(lái)限定的符號(hào)或數(shù)字.默認(rèn)的 qualifier是 trace.感嘆號(hào)是否定符號(hào).例如:
-eopen等價(jià)于 -e trace=open,表示只跟蹤open調(diào)用.而-etrace!=open表示跟蹤除了open以外的其他調(diào)用.有兩個(gè)特殊的符號(hào) all 和 none.
注意有些shell使用!來(lái)執(zhí)行歷史記錄里的命令,所以要使用\.
-e trace=set
只跟蹤指定的系統(tǒng) 調(diào)用.例如:-e trace=open,close,rean,write表示只跟蹤這四個(gè)系統(tǒng)調(diào)用.默認(rèn)的為set=all.
-e trace=file
只跟蹤有關(guān)文件操作的系統(tǒng)調(diào)用.
-e trace=process
只跟蹤有關(guān)進(jìn)程控制的系統(tǒng)調(diào)用.
-e trace=network
跟蹤與網(wǎng)絡(luò)有關(guān)的所有系統(tǒng)調(diào)用.
-e strace=signal
跟蹤所有與系統(tǒng)信號(hào)有關(guān)的 系統(tǒng)調(diào)用
-e trace=ipc
跟蹤所有與進(jìn)程通訊有關(guān)的系統(tǒng)調(diào)用
-e abbrev=set
設(shè)定 strace輸出的系統(tǒng)調(diào)用的結(jié)果集.-v 等與 abbrev=none.默認(rèn)為abbrev=all.
-e raw=set
將指 定的系統(tǒng)調(diào)用的參數(shù)以十六進(jìn)制顯示.
-e signal=set
指定跟蹤的系統(tǒng)信號(hào).默認(rèn)為all.如 signal=!SIGIO(或者signal=!io),表示不跟蹤SIGIO信號(hào).
-e read=set
輸出從指定文件中讀出 的數(shù)據(jù).例如:
-e read=3,5
-e write=set
輸出寫(xiě)入到指定文件中的數(shù)據(jù).
-o filename
將strace的輸出寫(xiě)入文件filename
-p pid
跟蹤指定的進(jìn)程pid.
-s strsize
指定輸出的字符串的最大長(zhǎng)度.默認(rèn)為32.文件名一直全部輸出.
-u username
以u(píng)sername 的UID和GID執(zhí)行被跟蹤的命令

命令實(shí)例

通用的完整用法：

strace -o output.txt -T -tt -e trace=all -p 28979

上面的含義是 跟蹤28979進(jìn)程的所有系統(tǒng)調(diào)用（-e trace=all）掂骏，并統(tǒng)計(jì)系統(tǒng)調(diào)用的花費(fèi)時(shí)間式廷，以及開(kāi)始時(shí)間（并以可視化的時(shí)分秒格式顯示），最后將記錄結(jié)果存在output.txt文件里面芭挽。

strace案例

用strace調(diào)試程序

在理想世界里，每當(dāng)一個(gè)程序不能正常執(zhí)行一個(gè)功能時(shí)蝗肪，它就會(huì)給出一個(gè)有用的錯(cuò)誤提示袜爪，告訴你在足夠的改正錯(cuò)誤的線索。但遺憾的是薛闪，我們不是生活在理想世界 里辛馆，起碼不總是生活在理想世界里。有時(shí)候一個(gè)程序出現(xiàn)了問(wèn)題，你無(wú)法找到原因昙篙。
這就是調(diào)試程序出現(xiàn)的原因腊状。strace是一個(gè)必不可少的 調(diào)試工具，strace用來(lái)監(jiān)視系統(tǒng)調(diào)用苔可。你不僅可以調(diào)試一個(gè)新開(kāi)始的程序缴挖，也可以調(diào)試一個(gè)已經(jīng)在運(yùn)行的程序（把strace綁定到一個(gè)已有的PID上 面）。
首先讓我們看一個(gè)真實(shí)的例子：?jiǎn)?dòng)KDE時(shí)出現(xiàn)問(wèn)題
前一段時(shí)間焚辅，我在 啟動(dòng)KDE的時(shí)候出了問(wèn)題映屋，KDE的錯(cuò)誤信息無(wú)法給我任何有幫助的線索。

_KDE_IceTransSocketCreateListener: failed to bind listener
_KDE_IceTransSocketUNIXCreateListener: ...SocketCreateListener() failed
_KDE_IceTransMakeAllCOTSServerListeners: failed to create listener for local

Cannot establish any listening sockets DCOPServer self-test failed.

對(duì) 我來(lái)說(shuō)這個(gè)錯(cuò)誤信息沒(méi)有太多意義同蜻，只是一個(gè)對(duì)KDE來(lái)說(shuō)至關(guān)重要的負(fù)責(zé)進(jìn)程間通信的程序無(wú)法啟動(dòng)棚点。我還可以知道這個(gè)錯(cuò)誤和ICE協(xié)議（Inter Client Exchange）有關(guān)，除此之外湾蔓，我不知道什么是KDE啟動(dòng)出錯(cuò)的原因瘫析。

我決定采用strace看一下在啟動(dòng) dcopserver時(shí)到底程序做了什么：
這里 -f -F選項(xiàng)告訴strace同時(shí)跟蹤fork和vfork出來(lái)的進(jìn)程，-o選項(xiàng)把所有strace輸出寫(xiě)到~/dcop-strace.txt里 面默责，dcopserver是要啟動(dòng)和調(diào)試的程序贬循。

再次出現(xiàn)錯(cuò)誤之后，我檢查了錯(cuò)誤輸出文件dcop-strace.txt傻丝，文件里有很多 系統(tǒng)調(diào)用的記錄甘有。在程序運(yùn)行出錯(cuò)前的有關(guān)記錄如下：

27207 mkdir("/tmp/.ICE-unix", 0777) = -1 EEXIST (File exists)
27207 lstat64("/tmp/.ICE-unix", {st_mode=S_IFDIR|S_ISVTX|0755, st_size=4096, ...}) = 0
27207 unlink("/tmp/.ICE-unix/dcop27207-1066844596") = -1 ENOENT (No such file or directory)
27207 bind(3, {sin_family=AF_UNIX, path="/tmp/.ICE-unix/dcop27207-1066844596"}, 38) = -1 EACCES (Permission denied)
27207 write(2, "_KDE_IceTrans", 13) = 13
27207 write(2, "SocketCreateListener: failed to "..., 46) = 46
27207 close(3) = 0 27207 write(2, "_KDE_IceTrans", 13) = 13
27207 write(2, "SocketUNIXCreateListener: ...Soc"..., 59) = 59
27207 umask(0) = 0 27207 write(2, "_KDE_IceTrans", 13) = 13
27207 write(2, "MakeAllCOTSServerListeners: fail"..., 64) = 64
27207 write(2, "Cannot establish any listening s"..., 39) = 39

其中第一行顯示程序試圖創(chuàng)建/tmp/.ICE-unix目錄，權(quán)限為0777葡缰，這個(gè)操作因?yàn)槟夸浺呀?jīng)存在而失敗了亏掀。第二個(gè)系統(tǒng)調(diào)用（lstat64）檢查 了目錄狀態(tài)，并顯示這個(gè)目錄的權(quán)限是0755泛释，這里出現(xiàn)了第一個(gè)程序運(yùn)行錯(cuò)誤的線索：程序試圖創(chuàng)建屬性為0777的目錄滤愕，但是已經(jīng)存在了一個(gè)屬性為 0755的目錄。第三個(gè)系統(tǒng)調(diào)用（unlink）試圖刪除一個(gè)文件怜校，但是這個(gè)文件并不存在间影。這并不奇怪，因?yàn)檫@個(gè)操作只是試圖刪掉可能存在的老文件茄茁。

但是魂贬，第四行確認(rèn)了錯(cuò)誤所在。他試圖綁定到/tmp/.ICE-unix/dcop27207-1066844596裙顽，但是出現(xiàn)了拒絕訪問(wèn)錯(cuò)誤付燥。. ICE_unix目錄的用戶和組都是root，并且只有所有者具有寫(xiě)權(quán)限愈犹。一個(gè)非root用戶無(wú)法在這個(gè)目錄下面建立文件键科，如果把目錄屬性改成0777， 則前面的操作有可能可以執(zhí)行，而這正是第一步錯(cuò)誤出現(xiàn)時(shí)進(jìn)行過(guò)的操作勋颖。

所以我運(yùn)行了chmod 0777 /tmp/.ICE-unix之后KDE就可以正常啟動(dòng)了嗦嗡，問(wèn)題解決了，用strace進(jìn)行跟蹤調(diào)試只需要花很短的幾分鐘時(shí)間跟蹤程序運(yùn)行饭玲，然后檢查并分 析輸出文件侥祭。

說(shuō)明：運(yùn)行chmod 0777只是一個(gè)測(cè)試，一般不要把一個(gè)目錄設(shè)置成所有用戶可讀寫(xiě)咱枉，同時(shí)不設(shè)置粘滯位(sticky bit)卑硫。給目錄設(shè)置粘滯位可以阻止一個(gè)用戶隨意刪除可寫(xiě)目錄下面其他人的文件。一般你會(huì)發(fā)現(xiàn)/tmp目錄因?yàn)檫@個(gè)原因設(shè)置了粘滯位蚕断。KDE可以正常啟動(dòng) 之后欢伏，運(yùn)行chmod +t /tmp/.ICE-unix給.ICE_unix設(shè)置粘滯位。

解決庫(kù)依賴問(wèn)題

starce 的另一個(gè)用處是解決和動(dòng)態(tài)庫(kù)相關(guān)的問(wèn)題亿乳。當(dāng)對(duì)一個(gè)可執(zhí)行文件運(yùn)行l(wèi)dd時(shí)硝拧，它會(huì)告訴你程序使用的動(dòng)態(tài)庫(kù)和找到動(dòng)態(tài)庫(kù)的位置。但是如果你正在使用一個(gè)比較老 的glibc版本（2.2或更早）葛假，你可能會(huì)有一個(gè)有bug的ldd程序障陶，它可能會(huì)報(bào)告在一個(gè)目錄下發(fā)現(xiàn)一個(gè)動(dòng)態(tài)庫(kù)，但是真正運(yùn)行程序時(shí)動(dòng)態(tài)連接程序 （/lib/ld-linux.so.2）卻可能到另外一個(gè)目錄去找動(dòng)態(tài)連接庫(kù)聊训。這通常因?yàn)?etc/ld.so.conf和 /etc/ld.so.cache文件不一致抱究，或者/etc/ld.so.cache被破壞。在glibc 2.3.2版本上這個(gè)錯(cuò)誤不會(huì)出現(xiàn)带斑，可能ld-linux的這個(gè)bug已經(jīng)被解決了鼓寺。

盡管這樣，ldd并不能把所有程序依賴的動(dòng)態(tài)庫(kù)列出 來(lái)勋磕，系統(tǒng)調(diào)用dlopen可以在需要的時(shí)候自動(dòng)調(diào)入需要的動(dòng)態(tài)庫(kù)妈候，而這些庫(kù)可能不會(huì)被ldd列出來(lái)。作為glibc的一部分的NSS（Name Server Switch）庫(kù)就是一個(gè)典型的例子挂滓，NSS的一個(gè)作用就是告訴應(yīng)用程序到哪里去尋找系統(tǒng)帳號(hào)數(shù)據(jù)庫(kù)苦银。應(yīng)用程序不會(huì)直接連接到NSS庫(kù)，glibc則會(huì)通 過(guò)dlopen自動(dòng)調(diào)入NSS庫(kù)赶站。如果這樣的庫(kù)偶然丟失幔虏，你不會(huì)被告知存在庫(kù)依賴問(wèn)題，但這樣的程序就無(wú)法通過(guò)用戶名解析得到用戶ID了贝椿。讓我們看一個(gè)例子：
whoami程序會(huì)給出你自己的用戶名所计，這個(gè)程序在一些需要知道運(yùn)行程序的真正用戶的腳本程序里面非常有用，whoami的一個(gè)示例 輸出如下：

# whoami
root

假設(shè)因?yàn)槟撤N原因在升 級(jí)glibc的過(guò)程中負(fù)責(zé)用戶名和用戶ID轉(zhuǎn)換的庫(kù)NSS丟失团秽，我們可以通過(guò)把nss庫(kù)改名來(lái)模擬這個(gè)環(huán)境：

# mv /lib/libnss_files.so.2 /lib/libnss_files.so.2.backup 
# whoami
whoami: cannot find username for UID 0

這里你可以看到，運(yùn)行whoami時(shí)出現(xiàn)了錯(cuò)誤，ldd程序的輸出不會(huì)提供有用的幫助：

# ldd /usr/bin/whoami
libc.so.6 => /lib/libc.so.6 (0x4001f000)
/lib/ld-linux.so.2 => /lib/ld-linux.so.2 (0x40000000)

你只會(huì)看到whoami依賴Libc.so.6和ld-linux.so.2习勤，它沒(méi)有給出運(yùn)行whoami所必須的其他庫(kù)踪栋。這里時(shí)用strace跟蹤 whoami時(shí)的輸出：

strace -o whoami-strace.txt whoami

open("/lib/libnss_files.so.2", O_RDONLY) = -1 ENOENT (No such file or directory)
open("/lib/i686/mmx/libnss_files.so.2", O_RDONLY) = -1 ENOENT (No such file or directory)
stat64("/lib/i686/mmx", 0xbffff190) = -1 ENOENT (No such file or directory) 
open("/lib/i686/libnss_files.so.2", O_RDONLY) = -1 ENOENT (No such file or directory)
stat64("/lib/i686", 0xbffff190) = -1 ENOENT (No such file or directory)
open("/lib/mmx/libnss_files.so.2", O_RDONLY) = -1 ENOENT (No such file or directory)
stat64("/lib/mmx", 0xbffff190) = -1 ENOENT (No such file or directory) 
open("/lib/libnss_files.so.2", O_RDONLY) = -1 ENOENT (No such file or directory)
stat64("/lib", {st_mode=S_IFDIR|0755, st_size=2352, ...}) = 0
open("/usr/lib/i686/mmx/libnss_files.so.2", O_RDONLY) = -1 ENOENT (No such file or directory)
stat64("/usr/lib/i686/mmx", 0xbffff190) = -1 ENOENT (No such file or directory) 
open("/usr/lib/i686/libnss_files.so.2", O_RDONLY) = -1 ENOENT (No such file or directory)

你可以發(fā)現(xiàn)在不同目錄下面查找libnss.so.2的嘗試，但是都失敗了图毕。如果沒(méi)有strace這樣的工具夷都，很難發(fā)現(xiàn)這個(gè)錯(cuò)誤是由于缺少動(dòng)態(tài)庫(kù)造成的。現(xiàn) 在只需要找到libnss.so.2并把它放回到正確的位置就可以了予颤。

限制strace只跟蹤特定的系統(tǒng)調(diào)用

如果你已經(jīng)知道你要找什么囤官，你可以讓strace只跟蹤一些類型的系統(tǒng)調(diào)用。例如蛤虐，你需要看看在configure腳本里面執(zhí)行的程序党饮，你需要監(jiān)視的系統(tǒng)調(diào) 用就是execve。讓strace只記錄execve的調(diào)用用這個(gè)命令：

strace -f -o configure-strace.txt -e execve ./configure

原文地址：https://blog.csdn.net/jk110333/article/details/41247789