Linux xargs命令詳解

為什么要用xargs,問題的來源

在工作中經(jīng)常會接觸到xargs命令怒坯,特別是在別人寫的腳本里面也經(jīng)常會遇到揩抡,但是卻很容易與管道搞混淆,本篇會詳細講解到底什么是xargs命令却邓,為什么要用xargs命令以及與管道的區(qū)別硕糊。為什么要用xargs呢,我們知道,linux命令可以從兩個地方讀取要處理的內(nèi)容简十,一個是通過命令行參數(shù)檬某,一個是標準輸入。例如cat螟蝙、grep就是這樣的命令恢恼,舉個例子:

echo?'main'?|?cat?test.cpp

這種情況下cat會輸出test.cpp的內(nèi)容,而不是'main'字符串胰默,如果test.cpp不存在則cat命令報告該文件不存在场斑,并不會嘗試從標準輸入中讀取。echo 'main' | 會通過管道將 echo 的標準輸出(也就是字符串'main')導(dǎo)入到 cat 的標準輸入牵署,也就是說此時cat的標準輸入中是有內(nèi)容的漏隐,其內(nèi)容就是字符串'main'但是上面的內(nèi)容中cat不會從它的標準輸入中讀入要處理的內(nèi)容。(注:標準輸入是有一個緩沖區(qū)的奴迅,就像我們在程序中使用scanf函數(shù)從標準輸入中讀取一樣青责,實際上是從標準輸入的緩沖區(qū)中讀取的)。其實基本上linux的命令中很多的命令的設(shè)計是先從命令行參數(shù)中獲取參數(shù)取具,然后從標準輸入中讀取脖隶,反映在程序上,命令行參數(shù)是通過main函數(shù) int main(int argc,char*argv[]) 的函數(shù)參數(shù)獲得的暇检,而標準輸入則是通過標準輸入函數(shù)例如C語言中的scanf讀取到的产阱。他們獲取的地方是不一樣的。例如:

echo?'main'?|?cat

這條命令中cat會從其標準輸入中讀取內(nèi)容并處理占哟,也就是會輸出 'main' 字符串。echo命令將其標準輸出的內(nèi)容 'main' 通過管道定向到 cat 的標準輸入中酿矢。

cat

如果僅僅輸入cat并回車榨乎,則該程序會等待輸入,我們需要從鍵盤輸入要處理的內(nèi)容給cat瘫筐,此時cat也是從標準輸入中得到要處理的內(nèi)容的蜜暑,因為我們的cat命令行中也沒有指定要處理的文件名。大多數(shù)命令有一個參數(shù)? -? 如果直接在命令的最后指定 -? 則表示從標準輸入中讀取策肝,例如:

echo?'main'?|?cat?-

這樣也是可行的肛捍,會顯示 'main' 字符串,同樣輸入 cat - 直接回車與輸入 cat 直接回車的效果也一樣之众,但是如果這樣呢:

echo?'main'?|?cat?test.cpp -

同時指定test.cpp 和 - 參數(shù)拙毫,此時cat程序還是會顯示test.cpp的內(nèi)容。但是有一個程序的策略則不同棺禾,它是grep缀蹄,例如:

echo?'main'?|?grep?'main'?test.cpp -

該命令的輸出結(jié)果是:

test.cpp:int main()

(standard input):main

此時grep會同時處理標準輸入和文件test.cpp中的內(nèi)容,也就是說會在標準輸入中搜索 'main' 也會在文件 test.cpp (該文件名從grep命令行參數(shù)中獲得)中搜索 'main'。也就是說當命令行中 test.cpp 和 - 兩個參數(shù)同時存在的時候缺前,不同的程序處理不同蛀醉。我們看到了cat與grep處理就不同。但是有一點是一樣的衅码,首先在命令行中查找要處理的內(nèi)容的來源(是從文件還是從標準輸入拯刁,還是都有),如果在命令行中找不到與要處理的內(nèi)容的來源相關(guān)的參數(shù)則默認從標準輸入中讀取要處理的內(nèi)容了逝段。

另外很多程序是不處理標準輸入的垛玻,例如 kill , rm 這些程序如果命令行參數(shù)中沒有指定要處理的內(nèi)容則不會默認從標準輸入中讀取。所以:

echo?'516'?|?kill

這種命里是不能執(zhí)行的惹恃。

echo?'test'?|?rm?-f

這種也是沒有效果的夭谤。

這兩個命令只接受命令行參數(shù)中指定的處理內(nèi)容,不從標準輸入中獲取處理內(nèi)容巫糙。想想也很正常朗儒,kill 是結(jié)束進程,rm是刪除文件参淹,如果要結(jié)束的進程pid和要刪除的文件名需要從標準輸入中讀取醉锄,這個也很怪異吧。 但是像 cat與grep這些文字處理工具從標準輸入中讀取待處理的內(nèi)容則很自然浙值。

但是有時候我們的腳本卻需要 echo '516' | kill 這樣的效果恳不,例如 ps -ef | grep 'ddd' | kill 這樣的效果,篩選出符合某條件的進程pid然后結(jié)束开呐。這種需求對于我們來說是理所當然而且是很常見的烟勋,那么應(yīng)該怎樣達到這樣的效果呢。有幾個解決辦法:

1. 通過 kill `ps -ef | grep 'ddd'`

#這種形式筐付,這個時候?qū)嶋H上等同于拼接字符串得到的命令卵惦,其效果類似于? kill $pid

2. for procid in $(ps -aux | grep "some search" | awk '{print $2}'); do kill -9 $procid; done

#其實與第一種原理一樣,只不過需要多次kill的時候是循環(huán)處理的瓦戚,每次處理一個

3. ps -ef | grep 'ddd' | xargs kill

#OK沮尿,使用了xargs命令,鋪墊了這么久終于鋪到了主題上较解。xargs命令可以通過管道接受字符串畜疾,并將接收到的字符串通過空格分割成許多參數(shù)(默認情況下是通過空格分割) 然后將參數(shù)傳遞給其后面的命令,作為后面命令的命令行參數(shù)

xargs是什么印衔,與管道有什么不同

xargs與管道有什么不同呢啡捶,這是兩個很容易混淆的東西,看了上面的xargs的例子還是有點云里霧里的話奸焙,我們來看下面的例子弄清楚為什么需要xargs:

echo '--help' | cat?

輸出:

--help

echo '--help' | xargs cat?

輸出:

Usage:?cat?[OPTION]... [FILE]...

Concatenate FILE(s), or standard input, to standard output.


??-A, --show-all?????????? equivalent to -vET

??-b, --number-nonblank??? number nonempty output lines

??-e?????????????????????? equivalent to -vE

??-E, --show-ends????????? display $ at end of each line

??-n, --number???????????? number all output lines

??-s, --squeeze-blank????? suppress repeated empty output lines

??-t?????????????????????? equivalent to -vT

??-T, --show-tabs????????? display TAB characters as ^I

??-u?????????????????????? (ignored)

??-v, --show-nonprinting?? use ^ and M- notation, except?for?LFD and TAB

??????--help???? display this help and?exit

??????--version? output version information and?exit


With no FILE, or when FILE is -,?read?standard input.


Examples:

??cat?f - g? Output f's contents, then standard input, then g's contents.

??cat?Copy standard input to standard output.


Report?cat?bugs to bug-coreutils@gnu.org

GNU coreutils home page: <http://www.gnu.org/software/coreutils/>

General help using GNU software: <http://www.gnu.org/gethelp/>

For complete documentation, run: info coreutils?'cat invocation'

可以看到 echo '--help' | cat?? 該命令輸出的是echo的內(nèi)容届慈,也就是說將echo的內(nèi)容當作cat處理的文件內(nèi)容了徒溪,實際上就是echo命令的輸出通過管道定向到cat的輸入了。然后cat從其標準輸入中讀取待處理的文本內(nèi)容金顿。這等價于在test.txt文件中有一行字符 '--help' 然后運行? cat test.txt 的效果臊泌。

而 echo '--help' | xargs cat 等價于 cat --help 什么意思呢,就是xargs將其接受的字符串 --help 做成cat的一個命令參數(shù)來運行cat命令揍拆,同樣? echo 'test.c test.cpp' | xargs cat 等價于 cat test.c test.cpp 此時會將test.c和test.cpp的內(nèi)容都顯示出來渠概。

xargs的一些有用的選項

相信到這里應(yīng)該都知道xargs的作用了,那么我們看看xargs還有一些有用的選項:

1. -d 選項

默認情況下xargs將其標準輸入中的內(nèi)容以空白(包括空格嫂拴、Tab播揪、回車換行等)分割成多個之后當作命令行參數(shù)傳遞給其后面的命令,并運行之筒狠,我們可以使用 -d 命令指定分隔符猪狈,例如:

echo '11@22@33' | xargs echo?

輸出:

11@22@33

默認情況下以空白分割,那么11@22@33這個字符串中沒有空白辩恼,所以實際上等價于 echo 11@22@33 其中字符串 '11@22@33' 被當作echo命令的一個命令行參數(shù)

echo '11@22@33' | xargs -d '@' echo?

輸出:

11 22 33

指定以@符號分割參數(shù)雇庙,所以等價于 echo 11 22 33 相當于給echo傳遞了3個參數(shù),分別是11灶伊、22疆前、33

2. -p 選項

使用該選項之后xargs并不會馬上執(zhí)行其后面的命令,而是輸出即將要執(zhí)行的完整的命令(包括命令以及傳遞給命令的命令行參數(shù))聘萨,詢問是否執(zhí)行竹椒,輸入 y 才繼續(xù)執(zhí)行,否則不執(zhí)行米辐。這種方式可以清楚的看到執(zhí)行的命令是什么樣子胸完,也就是xargs傳遞給命令的參數(shù)是什么,例如:

echo '11@22@33' | xargs -p -d '@'? echo?

輸出:

echo 11 22 33

?...y????? ==>這里詢問是否執(zhí)行命令 echo 11 22 33 輸入y并回車翘贮,則顯示執(zhí)行結(jié)果赊窥,否則不執(zhí)行

11 22 33?? ==>執(zhí)行結(jié)果

3. -n 選項

該選項表示將xargs生成的命令行參數(shù),每次傳遞幾個參數(shù)給其后面的命令執(zhí)行择膝,例如如果xargs從標準輸入中讀入內(nèi)容誓琼,然后以分隔符分割之后生成的命令行參數(shù)有10個检激,使用 -n 3 之后表示一次傳遞給xargs后面的命令是3個參數(shù)肴捉,因為一共有10個參數(shù),所以要執(zhí)行4次叔收,才能將參數(shù)用完齿穗。例如:

echo '11@22@33@44@55@66@77@88@99@00' | xargs -d '@' -n 3 echo?

輸出結(jié)果:

11 22 33

44 55 66

77 88 99

00

等價于:

echo 11 22 33

echo 44 55 66

echo 77 88 99

echo 00

實際上運行了4次,每次傳遞3個參數(shù)饺律,最后還剩一個窃页,就直接傳遞一個參數(shù)。

4. -E 選項,有的系統(tǒng)的xargs版本可能是-e? eof-str

該選項指定一個字符串脖卖,當xargs解析出多個命令行參數(shù)的時候乒省,如果搜索到-e指定的命令行參數(shù),則只會將-e指定的命令行參數(shù)之前的參數(shù)(不包括-e指定的這個參數(shù))傳遞給xargs后面的命令

echo '11 22 33' | xargs -E '33' echo?

輸出:

11 22

可以看到正常情況下有3個命令行參數(shù) 11畦木、22袖扛、33 由于使用了-E '33' 表示在將命令行參數(shù) 33 之前的參數(shù)傳遞給執(zhí)行的命令,33本身不傳遞十籍。等價于 echo 11 22 這里-E實際上有搜索的作用蛆封,表示只取xargs讀到的命令行參數(shù)前面的某些部分給命令執(zhí)行。

注意:-E只有在xargs不指定-d的時候有效勾栗,如果指定了-d則不起作用惨篱,而不管-d指定的是什么字符,空格也不行围俘。

echo '11 22 33' | xargs -d ' ' -E '33' echo? => 輸出 11 22 33

echo '11@22@33@44@55@66@77@88@99@00 aa 33 bb' | xargs -E '33' -d '@' -p? echo? => 輸出 11 22 33 44 55 66 77 88 99 00 aa 33 bb

## -0 選項表示以 '\0' 為分隔符砸讳,一般與find結(jié)合使用

find . -name "*.txt"

輸出:

./2.txt

./3.txt

./1.txt???? => 默認情況下find的輸出結(jié)果是每條記錄后面加上換行,也就是每條記錄是一個新行

find . -name "*.txt" -print0

輸出:

./2.txt./3.txt./1.txt???? => 加上 -print0 參數(shù)表示find輸出的每條結(jié)果后面加上 '\0' 而不是換行

find . -name "*.txt" -print0 | xargs -0 echo?

輸出:

./2.txt ./3.txt ./1.txt

find . -name "*.txt" -print0 | xargs -d '\0' echo?

輸出:

./2.txt ./3.txt ./1.txt

xargs的 -0 和 -d '\0' 表示其從標準輸入中讀取的內(nèi)容使用 '\0' 來分割楷拳,由于 find 的結(jié)果是使用 '\0' 分隔的绣夺,所以xargs使用 '\0' 將 find的結(jié)果分隔之后得到3個參數(shù): ./2.txt ./3.txt ./1.txt? 注意中間是有空格的。上面的結(jié)果就等價于 echo ./2.txt ./3.txt ./1.txt

實際上使用xargs默認的空白分隔符也是可以的? find . -name "*.txt"? | xargs? echo?? 因為換行符也是xargs的默認空白符的一種欢揖。find命令如果不加-print0其搜索結(jié)果的每一條字符串后面實際上是加了換行陶耍。

參考:https://www.cnblogs.com/wangqiguo/p/6464234.html

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市她混,隨后出現(xiàn)的幾起案子烈钞,更是在濱河造成了極大的恐慌,老刑警劉巖坤按,帶你破解...
    沈念sama閱讀 212,454評論 6 493
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件毯欣,死亡現(xiàn)場離奇詭異,居然都是意外死亡臭脓,警方通過查閱死者的電腦和手機酗钞,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,553評論 3 385
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來来累,“玉大人砚作,你說我怎么就攤上這事∴谒” “怎么了葫录?”我有些...
    開封第一講書人閱讀 157,921評論 0 348
  • 文/不壞的土叔 我叫張陵,是天一觀的道長领猾。 經(jīng)常有香客問我米同,道長骇扇,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 56,648評論 1 284
  • 正文 為了忘掉前任面粮,我火速辦了婚禮少孝,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘熬苍。我一直安慰自己韭山,他們只是感情好,可當我...
    茶點故事閱讀 65,770評論 6 386
  • 文/花漫 我一把揭開白布冷溃。 她就那樣靜靜地躺著钱磅,像睡著了一般。 火紅的嫁衣襯著肌膚如雪似枕。 梳的紋絲不亂的頭發(fā)上盖淡,一...
    開封第一講書人閱讀 49,950評論 1 291
  • 那天,我揣著相機與錄音凿歼,去河邊找鬼褪迟。 笑死,一個胖子當著我的面吹牛答憔,可吹牛的內(nèi)容都是我干的味赃。 我是一名探鬼主播,決...
    沈念sama閱讀 39,090評論 3 410
  • 文/蒼蘭香墨 我猛地睜開眼虐拓,長吁一口氣:“原來是場噩夢啊……” “哼心俗!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起蓉驹,我...
    開封第一講書人閱讀 37,817評論 0 268
  • 序言:老撾萬榮一對情侶失蹤城榛,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后态兴,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體狠持,經(jīng)...
    沈念sama閱讀 44,275評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,592評論 2 327
  • 正文 我和宋清朗相戀三年瞻润,在試婚紗的時候發(fā)現(xiàn)自己被綠了喘垂。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 38,724評論 1 341
  • 序言:一個原本活蹦亂跳的男人離奇死亡绍撞,死狀恐怖正勒,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情楚午,我是刑警寧澤昭齐,帶...
    沈念sama閱讀 34,409評論 4 333
  • 正文 年R本政府宣布尿招,位于F島的核電站矾柜,受9級特大地震影響阱驾,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜怪蔑,卻給世界環(huán)境...
    茶點故事閱讀 40,052評論 3 316
  • 文/蒙蒙 一里覆、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧缆瓣,春花似錦喧枷、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,815評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至渡冻,卻和暖如春戚扳,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背族吻。 一陣腳步聲響...
    開封第一講書人閱讀 32,043評論 1 266
  • 我被黑心中介騙來泰國打工帽借, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人超歌。 一個月前我還...
    沈念sama閱讀 46,503評論 2 361
  • 正文 我出身青樓砍艾,卻偏偏與公主長得像,于是被迫代替她去往敵國和親巍举。 傳聞我的和親對象是個殘疾皇子脆荷,可洞房花燭夜當晚...
    茶點故事閱讀 43,627評論 2 350

推薦閱讀更多精彩內(nèi)容