轉(zhuǎn)載:https://segmentfault.com/a/1190000005713784
sort是在Linux里非常常用的一個(gè)命令霉咨,管排序
sort將文件的每一行作為一個(gè)單位把介,相互比較山卦,比較原則是從首字符向后哮独,依次按ASCII碼值進(jìn)行比較烟央,最后將他們按升序輸出夺荒。
使用方法:sort [選項(xiàng)]... [文件]...
長(zhǎng)選項(xiàng)必須用的參數(shù)在使用短選項(xiàng)時(shí)也是必須的瞒渠。順序選項(xiàng):
-b, --ignore-leading-blanks ignore leading blanks
-d, --dictionary-order consider only blanks and alphanumeric characters
-f, --ignore-case fold lower case to upper case characters
-g, --general-numeric-sort compare according to general numerical value
-i, --ignore-nonprinting consider only printable characters
-M, --month-sort compare (unknown) < `JAN' < ... < `DEC'
-n, --numeric-sort compare according to string numerical value
-r, --reverse reverse the result of comparisons
Other options:
-c, --check check whether input is sorted; do not sort
-k, --key=POS1[,POS2] start a key at POS1, end it at POS2 (origin 1)
-m, --merge merge already sorted files; do not sort
-o, --output=FILE write result to FILE instead of standard output
-s, --stable stabilize sort by disabling last-resort comparison
-S, --buffer-size=SIZE use SIZE for main memory buffer
-t, --field-separator=SEP use SEP instead of non-blank to blank transition
-T, --temporary-directory=DIR use DIR for temporaries, not $TMPDIR or/tmp;
multiple options specify multiple directories
-u, --unique with -c, check for strict ordering;
without -c, output only the first of an equal run
-z, --zero-terminated end lines with 0 byte, not newline
--help 顯示此幫助信息并退出
--version 輸出版本號(hào)信息并退出
sort的-u選項(xiàng)
在輸出行中去除重復(fù)行
[ericshenMacPro@root duweixin]$ cat duweixin.net.txt
banana
apple
pear
orange
pear
[ericshenMacPro@root duweixin]$ sort duweixin.net.txt
apple
banana
orange
pear
pear
[ericshenMacPro@root duweixin]$ sort -u duweixin.net.txt
apple
banana
orange
pear
pear由于重復(fù)被-u選項(xiàng)無(wú)情的刪除了良蒸。
sort的-r選項(xiàng)
sort默認(rèn)的排序方式是升序,如果想改成降序伍玖,就加個(gè)-r诚啃。
[ericshenMacPro@root duweixin]$ cat duweixin.net.txt
1
3
5
2
4
[ericshenMacPro@root duweixin]$ sort duweixin.net.txt
1
2
3
4
5
#倒序加-r
[ericshenMacPro@root duweixin]$ sort -r duweixin.net.txt
5
4
3
2
1
sort的-o選項(xiàng)
由于sort默認(rèn)是把結(jié)果輸出到標(biāo)準(zhǔn)輸出,所以需要用重定向才能將結(jié)果寫入文件私沮,形如sort oldfile > newfile
但是始赎,如果你想把排序結(jié)果輸出到原文件中,用重定向可就不行了仔燕。
[ericshenMacPro@root duweixin]sort -r duweixin.txt > duweixin.txt [ericshenMacPro[@root](https://segmentfault.com/u/root) duweixin] cat duweixin.txt
[ericshenMacPro@root duweixin]$
看造垛,竟然將duweixin清空了。
加上-o選項(xiàng)晰搀,解決了這個(gè)問(wèn)題五辽,讓你放心的將結(jié)果寫入原文件。
[ericshenMacPro@root duweixin]$ cat number.txt
1
3
5
2
4
[ericshenMacPro@root duweixin]$ sort -r number.txt -o number.txt
[ericshenMacPro@root duweixin]$ cat number.txt
5
4
3
2
1
sort的-n選項(xiàng)
你有沒(méi)有遇到過(guò)10比2小的情況外恕。我反正遇到過(guò)杆逗。出現(xiàn)這種情況是由于排序程序?qū)⑦@些數(shù)字按字符來(lái)排序了,排序程序會(huì)先比較1和2鳞疲,顯然1小罪郊,所以就將10放在2前面嘍。這也是sort的一貫作風(fēng)尚洽。
我們?nèi)绻敫淖冞@種現(xiàn)狀悔橄,就要使用-n選項(xiàng),來(lái)告訴sort腺毫,“要以數(shù)值來(lái)排序”癣疟!
[ericshenMacPro@root duweixin]$ cat duweixin.net.txt
1
10
19
11
2
5
[ericshenMacPro@root duweixin]$ sort duweixin.net.txt
1
10
11
19
2
5
[ericshenMacPro@root duweixin]$ sort -n duweixin.net.txt
1
2
5
10
11
19
sort的-t選項(xiàng)和-k選項(xiàng)
如果有一個(gè)文件的內(nèi)容是這樣:
[ericshenMacPro@root duweixin]$ cat facebook.txt
banana:30:5.5
apple:10:2.5
pear:90:2.3
orange:20:3.4
這個(gè)文件有三列,列與列之間用冒號(hào)隔開(kāi)了潮酒,第一列表示水果類型睛挚,第二列表示水果數(shù)量,第三列表示水果價(jià)格急黎。
那么我想以水果數(shù)量來(lái)排序扎狱,也就是以第二列來(lái)排序,如何利用sort實(shí)現(xiàn)叁熔?
幸好委乌,sort提供了-t選項(xiàng)床牧,后面可以設(shè)定間隔符荣回。(是不是想起了cut和paste的-d選項(xiàng),共鳴~~)
指定了間隔符之后戈咳,就可以用-k來(lái)指定列數(shù)了心软。
[ericshenMacPro@root duweixin]$ sort -n -k 2 -t : facebook.txt
apple:10:2.5
orange:20:3.4
banana:30:5.5
pear:90:2.3
我們使用冒號(hào)作為間隔符壕吹,并針對(duì)第二列來(lái)進(jìn)行數(shù)值升序排序,結(jié)果很令人滿意删铃。
其他的sort常用選項(xiàng)
-f會(huì)將小寫字母都轉(zhuǎn)換為大寫字母來(lái)進(jìn)行比較耳贬,亦即忽略大小寫
-c會(huì)檢查文件是否已排好序,如果亂序猎唁,則輸出第一個(gè)亂序的行的相關(guān)信息咒劲,最后返回1
-C會(huì)檢查文件是否已排好序,如果亂序诫隅,不輸出內(nèi)容腐魂,僅返回1
-M會(huì)以月份來(lái)排序,比如JAN小于FEB等等
-b會(huì)忽略每一行前面的所有空白部分逐纬,從第一個(gè)可見(jiàn)字符開(kāi)始比較蛔屹。
有時(shí)候?qū)W習(xí)腳本,你會(huì)發(fā)現(xiàn)sort命令后面跟了一堆類似-k1,2豁生,或者-k1.2
-k3.4的東東兔毒,有些匪夷所思。今天甸箱,我們就來(lái)搞定它—-k選項(xiàng)育叁!
多列排序
一、準(zhǔn)備素材
第一個(gè)域是公司名稱芍殖,第二個(gè)域是公司人數(shù)擂红,第三個(gè)域是員工平均工資。
$ cat duweixin.net.txt
google 110 5000
baidu 100 5000
guge 50 3000
sohu 100 4500
二围小、 我想讓這個(gè)文件按公司的字母順序排序昵骤,也就是按第一個(gè)域進(jìn)行排序:(這個(gè)duweixin.net.txt文件有三個(gè)域)
$ sort -t ‘ ‘ -k 1 duweixin.net.txt
baidu 100 5000
google 110 5000
guge 50 3000
sohu 100 4500
就直接用-k 1設(shè)定就可以了。(其實(shí)此處并不嚴(yán)格肯适,稍后你就會(huì)知道)
三变秦、我想讓duweixin.net.txt按照公司人數(shù)排序
$ sort -n -t ‘ ‘ -k 2 duweixin.net.txt
guge 50 3000
baidu 100 5000
sohu 100 4500
google 110 5000
但是,此處出現(xiàn)了問(wèn)題框舔,那就是baidu和sohu的公司人數(shù)相同蹦玫,都是100人,這個(gè)時(shí)候怎么辦呢刘绣?按照默認(rèn)規(guī)矩樱溉,是從第一個(gè)域開(kāi)始進(jìn)行升序排序,因此baidu排在了sohu前面纬凤。
四福贞、我想讓facebook.txt按照公司人數(shù)排序 ,人數(shù)相同的按照員工平均工資升序排序:
$ sort -n -t ‘ ‘ -k 2 -k 3 duweixin.net.txt
guge 50 3000
sohu 100 4500
baidu 100 5000
google 110 5000
加了一個(gè)-k2 -k3就解決了問(wèn)題停士。對(duì)滴挖帘,sort支持這種設(shè)定完丽,就是說(shuō)設(shè)定域排序的優(yōu)先級(jí),先以第2個(gè)域進(jìn)行排序拇舀,如果相同逻族,再以第3個(gè)域進(jìn)行排序。
五骄崩、我想讓facebook.txt按照員工工資降序排序聘鳞,如果員工人數(shù)相同的,則按照公司人數(shù)升序排序
$ sort -n -t ‘ ‘ -k 3r -k 2 duweixin.net.txt
baidu 100 5000
google 110 5000
sohu 100 4500
guge 50 3000
此處有使用了一些小技巧要拂,你仔細(xì)看看搁痛,在-k 3后面偷偷加上了一個(gè)小寫字母r。你想想宇弛,再結(jié)合我們上一篇文章鸡典,能得到答案么?揭曉:r和-r選項(xiàng)的作用是一樣的枪芒,就是表示逆序彻况。因?yàn)閟ort默認(rèn)是按照升序排序的,所以此處需要加上r表示第三個(gè)域(員工平均工資)是按照降序排序舅踪。此處你還可以加上n纽甘,就表示對(duì)這個(gè)域進(jìn)行排序時(shí),要按照數(shù)值大小進(jìn)行排序抽碌,舉個(gè)例子吧:
$ sort -t ‘ ‘ -k 3nr -k 2n duweixin.net.txt
baidu 100 5000
google 110 5000
sohu 100 4500
guge 50 3000
去掉了最前面的-n選項(xiàng)悍赢,而是將它加入到了每一個(gè)-k選項(xiàng)中了。
六货徙、-k選項(xiàng)的具體語(yǔ)法格式
要繼續(xù)往下深入的話左权,就不得不來(lái)點(diǎn)理論知識(shí)。你需要了解-k選項(xiàng)的語(yǔ)法格式痴颊,如下:
[ FStart [ .CStart ] ] [ Modifier ] [ , [ FEnd [ .CEnd ] ][ Modifier ] ]
這個(gè)語(yǔ)法格式可以被其中的逗號(hào)(“赏迟,”)分為兩大部分,Start部分和End部分蠢棱。
先給你灌輸一個(gè)思想锌杀,那就是“如果不設(shè)定End部分,那么就認(rèn)為End被設(shè)定為行尾”泻仙。這個(gè)概念很重要的糕再,但往往你不會(huì)重視它。
Start部分也由三部分組成玉转,其中的Modifier部分就是我們之前說(shuō)過(guò)的類似n和r的選項(xiàng)部分突想。我們重點(diǎn)說(shuō)說(shuō)Start部分的FStart和C.Start。
C.Start也是可以省略的,省略的話就表示從本域的開(kāi)頭部分開(kāi)始蒿柳。之前例子中的-k 2和-k 3就是省略了C.Start的例子嘍。
FStart.CStart漩蟆,其中FStart就是表示使用的域垒探,而CStart則表示在FStart域中從第幾個(gè)字符開(kāi)始算“排序首字符”。
同理怠李,在End部分中圾叼,你可以設(shè)定FEnd.CEnd,如果你省略.CEnd捺癞,則表示結(jié)尾到“域尾”夷蚊,即本域的最后一個(gè)字符∷杞椋或者惕鼓,如果你將CEnd設(shè)定為0(零),也是表示結(jié)尾到“域尾”唐础。
七箱歧、從公司英文名稱的第二個(gè)字母開(kāi)始進(jìn)行排序:
$ sort -t ‘ ‘ -k 1.2 duweixin.net.txt
baidu 100 5000
sohu 100 4500
google 110 5000
guge 50 3000
使用了-k 1.2,這就表示對(duì)第一個(gè)域的第二個(gè)字符開(kāi)始到本域的最后一個(gè)字符為止的字符串進(jìn)行排序一膨。你會(huì)發(fā)現(xiàn)baidu因?yàn)榈诙€(gè)字母是a而名列榜首呀邢。sohu和 google第二個(gè)字符都是o,但sohu的h在google的o前面豹绪,所以兩者分別排在第二和第三价淌。guge只能屈居第四了。
八瞒津、只針對(duì)公司英文名稱的第二個(gè)字母進(jìn)行排序蝉衣,如果相同的按照員工工資進(jìn)行降序排序:
$ sort -t ‘ ‘ -k 1.2,1.2 -k 3,3nr duweixin.net.txt
baidu 100 5000
google 110 5000
sohu 100 4500
guge 50 3000
由于只對(duì)第二個(gè)字母進(jìn)行排序,所以我們使用了-k 1.2,1.2的表示方式巷蚪,表示我們“只”對(duì)第二個(gè)字母進(jìn)行排序买乃。(如果你問(wèn)“我使用-k 1.2怎么不行?”钓辆,當(dāng)然不行剪验,因?yàn)槟闶÷粤薊nd部分,這就意味著你將對(duì)從第二個(gè)字母起到本域最后一個(gè)字符為止的字符串進(jìn)行排序)前联。對(duì)于員工工資進(jìn)行排 序功戚,我們也使用了-k 3,3,這是最準(zhǔn)確的表述似嗤,表示我們“只”對(duì)本域進(jìn)行排序啸臀,因?yàn)槿绻闶÷粤撕竺娴?,就變成了我們“對(duì)第3個(gè)域開(kāi)始到最后一個(gè)域位置的內(nèi)容進(jìn)行排序” 了。
九乘粒、在modifier部分還可以用到哪些選項(xiàng)豌注?
可以用到b、d灯萍、f轧铁、i、n 或 r旦棉。
其中n和r你肯定已經(jīng)很熟悉了齿风。
b表示忽略本域的簽到空白符號(hào)。
d表示對(duì)本域按照字典順序排序(即绑洛,只考慮空白和字母)救斑。
f表示對(duì)本域忽略大小寫進(jìn)行排序。
i表示忽略“不可打印字符”真屯,只針對(duì)可打印字符進(jìn)行排序脸候。(有些ASCII就是不可打印字符,比如a是報(bào)警绑蔫,b是退格纪他,n是換行,r是回車等等)
十晾匠、思考思考關(guān)于-k和-u聯(lián)合使用的例子:
$ cat duweixin.net.txt
google 110 5000
baidu 100 5000
guge 50 3000
sohu 100 4500
這是最原始的duweixin.net.txt文件茶袒。
$ sort -n -k 2 duweixin.net.txt
guge 50 3000
baidu 100 5000
sohu 100 4500
google 110 5000
$ sort -n -k 2 -u duweixin.net.txt
guge 50 3000
baidu 100 5000
google 110 5000
當(dāng)設(shè)定以公司員工域進(jìn)行數(shù)值排序,然后加-u后凉馆,sohu一行就被刪除了薪寓!原來(lái)-u只識(shí)別用-k設(shè)定的域,發(fā)現(xiàn)相同澜共,就將后續(xù)相同的行都刪除向叉。
$ sort -k 1 -u duweixin.net.txt
baidu 100 5000
google 110 5000
guge 50 3000
sohu 100 4500
$ sort -k 1.1,1.1 -u duweixin.net.txt
baidu 100 5000
google 110 5000
sohu 100 4500
這個(gè)例子也同理,開(kāi)頭字符是g的guge就沒(méi)有幸免于難嗦董。
$ sort -n -k 2 -k 3 -u duweixin.net.txt
guge 50 3000
sohu 100 4500
baidu 100 5000
google 110 5000
咦母谎!這里設(shè)置了兩層排序優(yōu)先級(jí)的情況下,使用-u就沒(méi)有刪除任何行京革。原來(lái)-u是會(huì)權(quán)衡所有-k選項(xiàng)奇唤,將都相同的才會(huì)刪除,只要其中有一級(jí)不同都不會(huì)輕易刪除的:)(不信匹摇,你可以自己加一行sina 100 4500試試看)
十一咬扇、最詭異的排序:
$ sort -n -k 2.2,3.1 duweixin.net.txt
guge 50 3000
baidu 100 5000
sohu 100 4500
google 110 5000
以第二個(gè)域的第二個(gè)字符開(kāi)始到第三個(gè)域的第一個(gè)字符結(jié)束的部分進(jìn)行排序。
第一行廊勃,會(huì)提取0 3懈贺,第二行提取00 5,第三行提取00 4,第四行提取10 5梭灿。
又因?yàn)閟ort認(rèn)為0小于00小于000小于0000….
因此0 3肯定是在第一個(gè)画侣。10 5肯定是在最后一個(gè)。但為什么00 5卻在00 4前面呢堡妒?(你可以自己做實(shí)驗(yàn)思考一下配乱。)
答案揭曉:原來(lái)“跨域的設(shè)定是個(gè)假象”,sort只會(huì)比較第二個(gè)域的第二個(gè)字符到第二個(gè)域的最后一個(gè)字符的部分涕蚤,而不會(huì)把第三個(gè)域的開(kāi)頭字符納入比較范圍宪卿。當(dāng)發(fā)現(xiàn)00和00相同時(shí)的诵,sort就會(huì)自動(dòng)比較第一個(gè)域去了万栅。當(dāng)然baidu在sohu前面了。用一個(gè)范例即可證實(shí):
$ sort -n -k 2.2,3.1 -k 1,1r duweixin.net.txt
guge 50 3000
sohu 100 4500
baidu 100 5000
google 110 5000