剛接觸這個(gè)命令時(shí)一點(diǎn)頭緒都沒有形入,只知道照用,這篇博文還可以浓若,能夠理解一下基本原理挪钓。
轉(zhuǎn)載地址
1 sort的工作原理
sort將文件的每一行作為一個(gè)單位耳舅,相互比較,比較原則是從首字符向后馏予,依次按ASCII碼值進(jìn)行比較,最后將他們按升序輸出呢岗。
[rocrocket@rocrocket programming]$ cat seq.txtbananaapplepearorange[rocrocket@rocrocket programming]$ sort seq.txtapplebananaorangepear
**2 sort的
-u選項(xiàng)
**
它的作用很簡(jiǎn)單后豫,就是在輸出行中去除重復(fù)行
突那。
[rocrocket@rocrocket programming]$ cat seq.txtbananaapplepearorangepear[rocrocket@rocrocket programming]$ sort seq.txtapplebananaorangepearpear[rocrocket@rocrocket programming]$ sort -u seq.txtapplebananaorangepear
pear由于重復(fù)被-u選項(xiàng)無情的刪除了。
3 sort的-r選項(xiàng)
sort默認(rèn)的排序方式是升序早龟,如果想改成降序拄衰,就加個(gè)-r
就搞定了饵骨。
[rocrocket@rocrocket programming]$ cat number.txt13524[rocrocket@rocrocket programming]$ sort number.txt12345[rocrocket@rocrocket programming]$ sort -r number.txt54321
**4 sort的
-o選項(xiàng)
**
由于sort默認(rèn)是把結(jié)果輸出到標(biāo)準(zhǔn)輸出居触,所以需要用重定向才能將結(jié)果寫入文件轮洋,形如sort filename> newfile。
但是弊予,如果你想把排序結(jié)果輸出到原文件中
汉柒,用重定向可就不行了碾褂。
[rocrocket@rocrocket programming]$ sort -r number.txt> number.txt[rocrocket@rocrocket programming]$ cat number.txt[rocrocket@rocrocket programming]$看历葛,竟然將number清空了。
就在這個(gè)時(shí)候乓诽,-o選項(xiàng)出現(xiàn)了鸠天,它成功的解決了這個(gè)問題,讓你放心的將結(jié)果寫入原文件窥淆。這或許也是-o比重定向的唯一優(yōu)勢(shì)所在忧饭。
[rocrocket@rocrocketprogramming]$ cat number.txt13524[rocrocket@rocrocket programming]$ sort -r number.txt -o number.txt
[rocrocket@rocrocket programming]$ catnumber.txt
5
4
3
2
1
**5 sort的
-n選項(xiàng)
**
你有沒有遇到過10比2小的情況筷畦。我反正遇到過鳖宾。出現(xiàn)這種情況是由于排序程序?qū)⑦@些數(shù)字按字符來排序了,排序程序會(huì)先比較1和2渔肩,顯然1小周偎,所以就將10放在2前面嘍撑帖。這也是sort的一貫作風(fēng)。
我們?nèi)绻敫淖冞@種現(xiàn)狀蛉艾,就要使用-n選項(xiàng)勿侯,來告訴sort罐监,“要以數(shù)值來排序
”瞒爬!
[rocrocket@rocrocket programming]$ cat number.txt110191125[rocrocket@rocrocket programming]$ sort number.txt110111925[rocrocket@rocrocket programming]$ sort -n number.txt125101119
6 sort的-t選項(xiàng)和-k選項(xiàng)
如果有一個(gè)文件的內(nèi)容是這樣:
[rocrocket@rocrocket programming]$ cat facebook.txtbanana:30:5.5apple:10:2.5pear:90:2.3orange:20:3.4
這個(gè)文件有三列沟堡,列與列之間用冒號(hào)隔開了航罗,第一列表示水果類型粥血,第二列表示水果數(shù)量酿箭,第三列表示水果價(jià)格缭嫡。
那么我想以水果數(shù)量來排序,也就是以第二列來排序妇蛀,如何利用sort實(shí)現(xiàn)评架?
幸好,sort提供了-t選項(xiàng)上祈,后面可以設(shè)定間隔符雇逞。(是不是想起了cut和paste的-d選項(xiàng),共鳴~~)
指定了間隔符之后节仿,就可以用-k來指定列數(shù)了。
[rocrocket@rocrocketprogramming]$ s
ort -n -k 2 -t : facebook.txt
apple:10:2.5
orange:20:3.4
banana:30:5.5
pear:90:2.3
我們使用冒號(hào)作為間隔符矾瘾,并針對(duì)第二列來進(jìn)行數(shù)值升序排序壕翩,結(jié)果很令人滿意傅寡。
7 其他的sort常用選項(xiàng)
-f會(huì)將小寫字母都轉(zhuǎn)換為大寫字母來進(jìn)行比較,亦即忽略大小寫
-c會(huì)檢查文件是否已排好序珍策,如果亂序攘宙,則輸出第一個(gè)亂序的行的相關(guān)信息拐迁,最后返回1
-C會(huì)檢查文件是否已排好序,如果亂序铺韧,不輸出內(nèi)容祟蚀,僅返回1
-M會(huì)以月份來排序前酿,比如JAN小于FEB等等
-b會(huì)忽略每一行前面的所有空白部分罢维,從第一個(gè)可見字符開始比較丙挽。
有時(shí)候?qū)W習(xí)腳本,你會(huì)發(fā)現(xiàn)sort命令后面跟了一堆類似-k1,2平窘,或者-k1.2-k3.4的東東瑰艘,有些匪夷所思。今天肤舞,我們就來搞定它—-k選項(xiàng)紫新!
1 準(zhǔn)備素材
$ cat facebook.txtgoogle 110 5000baidu 100 5000guge 50 3000sohu 100 4500
第一個(gè)域是公司名稱,第二個(gè)域是公司人數(shù)李剖,第三個(gè)域是員工平均工資芒率。(除了公司名稱,其他的別信篙顺,都瞎寫的_)
2我想讓這個(gè)文件按公司的字母順序排序偶芍,也就是按第一個(gè)域進(jìn)行排序:(這個(gè)facebook.txt文件有三個(gè)域)
$ sort -t ‘ ‘ -k 1 facebook.txtbaidu 100 5000google 110 5000guge 50 3000sohu 100 4500
看到了吧充择,就直接用-k 1設(shè)定就可以了。(其實(shí)此處并不嚴(yán)格腋寨,稍后你就會(huì)知道)
3 我想讓facebook.txt按照公司人數(shù)排序
$ sort -n -t ‘ ‘ -k 2 facebook.txtguge 50 3000baidu 100 5000sohu 100 4500google 110 5000
不用解釋聪铺,我相信你能懂。
但是键兜,此處出現(xiàn)了問題,那就是baidu和sohu的公司人數(shù)相同现诀,都是100人,這個(gè)時(shí)候怎么辦呢封锉?按照默認(rèn)規(guī)矩,是從第一個(gè)域開始進(jìn)行升序排序奴艾,因此baidu排在了sohu前面。
4 我想讓facebook.txt按照公司人數(shù)排序,人數(shù)相同的按照員工平均工資升序排序:
$ sort -n -t ‘ ‘ -k 2 -k 3 facebook.txt
guge 50 3000
sohu 100 4500
baidu 100 5000
google 110 5000
看,我們加了一個(gè)-k2-k3就解決了問題蜜猾。對(duì)滴衍菱,sort支持這種設(shè)定,就是說設(shè)定域排序的優(yōu)先級(jí)琼锋,先以第2個(gè)域進(jìn)行排序,如果相同,再以第3個(gè)域進(jìn)行排序荷腊。(如果你愿意,可以一直這么寫下去董栽,設(shè)定很多個(gè)排序優(yōu)先級(jí))
5我想讓facebook.txt按照員工工資降序排序,如果員工人數(shù)相同的擒抛,則按照公司人數(shù)升序排序:(這個(gè)有點(diǎn)難度嘍)
$ sort -n -t ‘ ‘ -k 3r -k 2 facebook.txt
baidu 100 5000
google 110 5000
sohu 100 4500
guge 50 3000
此處有使用了一些小技巧,你仔細(xì)看看诊胞,在-k 3后面偷偷加上了一個(gè)小寫字母r迈着。你想想,再結(jié)合我們上一篇文章,能得到答案么萤彩?揭曉:r和-r選項(xiàng)的作用是一樣的,就是表示逆序愚墓。因?yàn)閟ort默認(rèn)是按照升序排序的岗照,所以此處需要加上r表示第三個(gè)域(員工平均工資)是按照降序排序厚者。此處你還可以加上n,就表示對(duì)這個(gè)域進(jìn)行排序時(shí),要按照數(shù)值大小進(jìn)行排序烫止,舉個(gè)例子吧:
$ sort -t ‘ ‘ -k 3nr -k 2n facebook.txtbaidu 100 5000google 110 5000sohu 100 4500guge 50 3000
看,我們?nèi)サ袅俗钋懊娴?n選項(xiàng),而是將它加入到了每一個(gè)-k選項(xiàng)中了。
6 -k選項(xiàng)的具體語法格式
要繼續(xù)往下深入的話诞吱,就不得不來點(diǎn)理論知識(shí)咙俩。你需要了解-k選項(xiàng)的語法格式,如下:
[ FStart [ .CStart ] ] [ Modifier ] [ , [ FEnd [ .CEnd ] ][Modifier ] ]
這個(gè)語法格式可以被其中的逗號(hào)(“,”)分為兩大部分命黔,Start部分和End部分战转。
先給你灌輸一個(gè)思想,那就是“如果不設(shè)定End部分,那么就認(rèn)為End被設(shè)定為行尾”顿锰。這個(gè)概念很重要的,但往往你不會(huì)重視它。
Start部分也由三部分組成纷责,其中的Modifier部分就是我們之前說過的類似n和r的選項(xiàng)部分曲横。我們重點(diǎn)說說Start部分的FStart和C.Start。
C.Start也是可以省略的吭露,省略的話就表示從本域的開頭部分開始题禀。之前例子中的-k 2和-k3就是省略了C.Start的例子嘍。
FStart.CStart,其中FStart就是表示使用的域神僵,而CStart則表示在FStart域中從第幾個(gè)字符開始算“排序首字符”沛励。
同理址貌,在End部分中吹害,你可以設(shè)定FEnd.CEnd,如果你省略.CEnd,則表示結(jié)尾到“域尾”谓媒,即本域的最后一個(gè)字符支救。或者,如果你將CEnd設(shè)定為0(零),也是表示結(jié)尾到“域尾”挽铁。
7 突發(fā)奇想更扁,從公司英文名稱的第二個(gè)字母開始進(jìn)行排序:
$ sort -t ‘ ‘ -k 1.2 facebook.txtbaidu 100 5000sohu 100 4500google 110 5000guge 50 3000
看浓镜,我們使用了-k1.2补鼻,這就表示對(duì)第一個(gè)域的第二個(gè)字符開始到本域的最后一個(gè)字符為止的字符串進(jìn)行排序硼婿。你會(huì)發(fā)現(xiàn)baidu因?yàn)榈诙€(gè)字母是a而名列榜首猪腕。sohu和google第二個(gè)字符都是o,但sohu的h在google的o前面,所以兩者分別排在第二和第三。guge只能屈居第四了猎物。
8又突發(fā)奇想,堤如,只針對(duì)公司英文名稱的第二個(gè)字母進(jìn)行排序跷究,如果相同的按照員工工資進(jìn)行降序排序:
$ sort -t ‘ ‘ -k 1.2,1.2 -k 3,3nr facebook.txtbaidu 100 5000google 110 5000sohu 100 4500guge 50 3000
由于只對(duì)第二個(gè)字母進(jìn)行排序掸犬,所以我們使用了-k 1.2,1.2的表示方式,表示我們“只”對(duì)第二個(gè)字母進(jìn)行排序。(如果你問“我使用-k1.2怎么不行?”咆霜,當(dāng)然不行,因?yàn)槟闶÷粤薊nd部分宝当,這就意味著你將對(duì)從第二個(gè)字母起到本域最后一個(gè)字符為止的字符串進(jìn)行排序)虏辫。對(duì)于員工工資進(jìn)行排序娄昆,我們也使用了-k3,3壳贪,這是最準(zhǔn)確的表述磕蒲,表示我們“只”對(duì)本域進(jìn)行排序只盹,因?yàn)槿绻闶÷粤撕竺娴?,就變成了我們“對(duì)第3個(gè)域開始到最后一個(gè)域位置的內(nèi)容進(jìn)行排序”了菩鲜。
9 在modifier部分還可以用到哪些選項(xiàng)?
可以用到b诽凌、d、f、i稀拐、n 或 r摇天。
其中n和r你肯定已經(jīng)很熟悉了。
b表示忽略本域的簽到空白符號(hào)刚操。
d表示對(duì)本域按照字典順序排序(即闸翅,只考慮空白和字母)。
f表示對(duì)本域忽略大小寫進(jìn)行排序菊霜。
i表示忽略“不可打印字符”坚冀,只針對(duì)可打印字符進(jìn)行排序。(有些ASCII就是不可打印字符鉴逞,比如\a是報(bào)警记某,\b是退格,\n是換行构捡,\r是回車等等)
10 思考思考關(guān)于-k和-u聯(lián)合使用的例子:
$ cat facebook.txtgoogle 110 5000baidu 100 5000guge 50 3000sohu 100 4500
這是最原始的facebook.txt文件液南。
$ sort -n -k 2 facebook.txtguge 50 3000baidu 100 5000sohu 100 4500google 110 5000
$ sort -n -k 2 -u facebook.txtguge 50 3000baidu 100 5000google 110 5000
當(dāng)設(shè)定以公司員工域進(jìn)行數(shù)值排序,然后加-u后勾徽,sohu一行就被刪除了滑凉!原來-u只識(shí)別用-k設(shè)定的域,發(fā)現(xiàn)相同喘帚,就將后續(xù)相同的行都刪除畅姊。
$ sort -k 1 -u facebook.txtbaidu 100 5000google 110 5000guge 50 3000sohu 100 4500
$ sort -k 1.1,1.1 -u facebook.txtbaidu 100 5000google 110 5000sohu 100 4500
這個(gè)例子也同理,開頭字符是g的guge就沒有幸免于難吹由。
$ sort -n -k 2 -k 3 -u facebook.txtguge 50 3000sohu 100 4500baidu 100 5000google 110 5000
咦若未!這里設(shè)置了兩層排序優(yōu)先級(jí)的情況下,使用-u就沒有刪除任何行倾鲫。原來-u是會(huì)權(quán)衡所有-k選項(xiàng)粗合,將都相同的才會(huì)刪除,只要其中有一級(jí)不同都不會(huì)輕易刪除的:)(不信乌昔,你可以自己加一行sina100 4500試試看)
11 最詭異的排序:
$ sort -n -k 2.2,3.1 facebook.txtguge 50 3000baidu 100 5000sohu 100 4500google 110 5000
以第二個(gè)域的第二個(gè)字符開始到第三個(gè)域的第一個(gè)字符結(jié)束的部分進(jìn)行排序隙疚。
第一行,會(huì)提取0 3磕道,第二行提取00 5甚淡,第三行提取00 4,第四行提取10 5。
又因?yàn)閟ort認(rèn)為0小于00小于000小于0000….
因此0 3肯定是在第一個(gè)贯卦。10 5肯定是在最后一個(gè)资柔。但為什么00 5卻在00 4前面呢?(你可以自己做實(shí)驗(yàn)思考一下撵割。)
答案揭曉:原來“跨域的設(shè)定是個(gè)假象”贿堰,sort只會(huì)比較第二個(gè)域的第二個(gè)字符到第二個(gè)域的最后一個(gè)字符的部分,而不會(huì)把第三個(gè)域的開頭字符納入比較范圍啡彬。當(dāng)發(fā)現(xiàn)00和00相同時(shí)羹与,sort就會(huì)自動(dòng)比較第一個(gè)域去了。當(dāng)然baidu在sohu前面了庶灿。用一個(gè)范例即可證實(shí):
$ sort -n -k 2.2,3.1 -k 1,1r facebook.txtguge 50 3000sohu 100 4500baidu 100 5000google 110 5000
12 有時(shí)候在sort命令后會(huì)看到+1 -2這些符號(hào)纵搁,這是什么東東?
關(guān)于這種語法往踢,最新的sort是這么進(jìn)行解釋的:
On older systems, sort’ supports an obsolete origin-zero syntax
+POS1 [-POS2]‘ for specifying sort keys. POSIX1003.1-2001 (*note Standards conformance::) does not allow this;use `-k’ instead.
原來腾誉,這種古老的表示方式已經(jīng)被淘汰了,以后可以理直氣壯的鄙視使用這種表示方法的腳本嘍峻呕!
(為了防止古老腳本的存在利职,在這再說一下這種表示方法,加號(hào)表示Start部分瘦癌,減號(hào)表示End部分猪贪。最最重要的一點(diǎn)是,這種方式方法是從0開始計(jì)數(shù)的讯私,以前所說的第一個(gè)域热押,在此被表示為第0個(gè)域。以前的第2個(gè)字符斤寇,在此表示為第1個(gè)字符桶癣。明白?)