什么是Shell腳本
示例
看個(gè)例子吧:
#!/bin/sh
cd ~
mkdir shell_tut
cd shell_tut
for ((i=0; i<10; i++)); do
touch test_$i.txt
done
示例解釋
- 第1行:指定腳本解釋器,這里是用/bin/sh做解釋器的
- 第2行:切換到當(dāng)前用戶的home目錄
- 第3行:創(chuàng)建一個(gè)目錄shell_tut
- 第4行:切換到shell_tut目錄
- 第5行:循環(huán)條件,一共循環(huán)10次
- 第6行:創(chuàng)建一個(gè)test_1…10.txt文件
- 第7行:循環(huán)體結(jié)束
cd, mkdir, touch都是系統(tǒng)自帶的程序纵刘,一般在/bin或者/usr/bin目錄下戈擒。for, do, done是sh腳本語(yǔ)言的關(guān)鍵字赛惩。
shell和shell腳本的概念
shell是指一種應(yīng)用程序煌茬,這個(gè)應(yīng)用程序提供了一個(gè)界面址否,用戶通過這個(gè)界面訪問操作系統(tǒng)內(nèi)核的服務(wù)。Ken Thompson的sh是第一種Unix Shell麦锯,Windows Explorer是一個(gè)典型的圖形界面Shell恕稠。
shell腳本(shell script),是一種為shell編寫的腳本程序扶欣。業(yè)界所說的shell通常都是指shell腳本鹅巍,但讀者朋友要知道,shell和shell script是兩個(gè)不同的概念宵蛀。由于習(xí)慣的原因昆著,簡(jiǎn)潔起見,本文出現(xiàn)的“shell編程”都是指shell腳本編程术陶,不是指開發(fā)shell自身(如Windows Explorer擴(kuò)展開發(fā))凑懂。
環(huán)境
shell編程跟java、php編程一樣梧宫,只要有一個(gè)能編寫代碼的文本編輯器和一個(gè)能解釋執(zhí)行的腳本解釋器就可以了接谨。
OS
當(dāng)前主流的操作系統(tǒng)都支持shell編程,本文檔所述的shell編程是指Linux下的shell塘匣,講的基本都是POSIX標(biāo)準(zhǔn)下的功能脓豪,所以,也適用于Unix及BSD(如Mac OS)忌卤。
Linux
Linux默認(rèn)安裝就帶了shell解釋器扫夜。
Mac OS
Mac OS不僅帶了sh、bash這兩個(gè)最基礎(chǔ)的解釋器驰徊,還內(nèi)置了ksh笤闯、csh、zsh等不常用的解釋器棍厂。
Windows上的模擬器
windows出廠時(shí)沒有內(nèi)置shell解釋器颗味,需要自行安裝,為了同時(shí)能用grep, awk, curl等工具牺弹,最好裝一個(gè)cygwin或者mingw來模擬linux環(huán)境浦马。
腳本解釋器
sh
即Bourne shell,POSIX(Portable Operating System Interface)標(biāo)準(zhǔn)的shell解釋器张漂,它的二進(jìn)制文件路徑通常是/bin/sh晶默,由Bell Labs開發(fā)。
本文講的是sh航攒,如果你使用其它語(yǔ)言用作shell編程磺陡,請(qǐng)自行參考相應(yīng)語(yǔ)言的文檔。
bash
Bash是Bourne shell的替代品,屬GNU Project仅政,二進(jìn)制文件路徑通常是/bin/bash。業(yè)界通撑杈裕混用bash圆丹、sh、和shell躯喇,比如你會(huì)經(jīng)常在招聘運(yùn)維工程師的文案中見到:熟悉Linux Bash編程辫封,精通Shell編程。
在CentOS里廉丽,/bin/sh是一個(gè)指向/bin/bash的符號(hào)鏈接:
[root@centosraw ~]# ls -l /bin/*sh
-rwxr-xr-x. 1 root root 903272 Feb 22 05:09 /bin/bash
-rwxr-xr-x. 1 root root 106216 Oct 17 2012 /bin/dash
lrwxrwxrwx. 1 root root 4 Mar 22 10:22 /bin/sh -> bash
但在Mac OS上不是倦微,/bin/sh和/bin/bash是兩個(gè)不同的文件,盡管它們的大小只相差100字節(jié)左右:
iMac:~ wuxiao$ ls -l /bin/*sh
-r-xr-xr-x 1 root wheel 1371648 6 Nov 16:52 /bin/bash
-rwxr-xr-x 2 root wheel 772992 6 Nov 16:52 /bin/csh
-r-xr-xr-x 1 root wheel 2180736 6 Nov 16:52 /bin/ksh
-r-xr-xr-x 1 root wheel 1371712 6 Nov 16:52 /bin/sh
-rwxr-xr-x 2 root wheel 772992 6 Nov 16:52 /bin/tcsh
-rwxr-xr-x 1 root wheel 1103984 6 Nov 16:52 /bin/zsh
高級(jí)編程語(yǔ)言
理論上講正压,只要一門語(yǔ)言提供了解釋器(而不僅是編譯器)欣福,這門語(yǔ)言就可以勝任腳本編程,常見的解釋型語(yǔ)言都是可以用作腳本編程的焦履,如:Perl拓劝、Tcl、Python嘉裤、PHP郑临、Ruby。Perl是最老牌的腳本編程語(yǔ)言了屑宠,Python這些年也成了一些linux發(fā)行版的預(yù)置解釋器厢洞。
編譯型語(yǔ)言,只要有解釋器典奉,也可以用作腳本編程躺翻,如C shell是內(nèi)置的(/bin/csh),Java有第三方解釋器Jshell秋柄,Ada有收費(fèi)的解釋器AdaScript获枝。
如下是一個(gè)PHP Shell Script示例(假設(shè)文件名叫test.php):
#!/usr/bin/php
<?php
for ($i=0; $i < 10; $i++)
echo $i . "\n";
執(zhí)行:
/usr/bin/php test.php
或者:
chmod +x test.php
./test.php
如何選擇shell編程語(yǔ)言
熟悉 vs 陌生
如果你已經(jīng)掌握了一門編程語(yǔ)言(如PHP、Python骇笔、Java省店、JavaScript),建議你就直接使用這門語(yǔ)言編寫腳本程序笨触,雖然某些地方會(huì)有點(diǎn)啰嗦懦傍,但你能利用在這門語(yǔ)言領(lǐng)域里的經(jīng)驗(yàn)(單元測(cè)試、單步調(diào)試芦劣、IDE粗俱、第三方類庫(kù))。
新增的學(xué)習(xí)成本很小虚吟,只要學(xué)會(huì)怎么使用shell解釋器(Jshell寸认、AdaScript)就可以了签财。
簡(jiǎn)單 vs 高級(jí)
如果你覺得自己熟悉的語(yǔ)言(如Java、C)寫shell腳本實(shí)在太啰嗦偏塞,你只是想做一些備份文件唱蒸、安裝軟件、下載數(shù)據(jù)之類的事情灸叼,學(xué)著使用sh神汹,bash會(huì)是一個(gè)好主意。
shell只定義了一個(gè)非常簡(jiǎn)單的編程語(yǔ)言古今,所以屁魏,如果你的腳本程序復(fù)雜度較高,或者要操作的數(shù)據(jù)結(jié)構(gòu)比較復(fù)雜捉腥,那么還是應(yīng)該使用Python氓拼、Perl這樣的腳本語(yǔ)言,或者是你本來就已經(jīng)很擅長(zhǎng)的高級(jí)語(yǔ)言但狭。因?yàn)閟h和bash在這方面很弱披诗,比如說:
- 它的函數(shù)只能返回字串,無法返回?cái)?shù)組
- 它不支持面向?qū)ο罅⒋牛銦o法實(shí)現(xiàn)一些優(yōu)雅的設(shè)計(jì)模式
- 它是解釋型的呈队,一邊解釋一邊執(zhí)行,連PHP那種預(yù)編譯都不是唱歧,如果你的腳本包含錯(cuò)誤(例如調(diào)用了不存在的函數(shù))宪摧,只要沒執(zhí)行到這一行,就不會(huì)報(bào)錯(cuò)
環(huán)境兼容性
如果你的腳本是提供給別的用戶使用颅崩,使用sh或者bash几于,你的腳本將具有最好的環(huán)境兼容性,perl很早就是linux標(biāo)配了沿后,python這些年也成了一些linux發(fā)行版的標(biāo)配沿彭,至于mac os,它默認(rèn)安裝了perl尖滚、python喉刘、ruby、php漆弄、java等主流編程語(yǔ)言睦裳。
第一個(gè)shell腳本
編寫
打開文本編輯器,新建一個(gè)文件撼唾,擴(kuò)展名為sh(sh代表shell)廉邑,擴(kuò)展名并不影響腳本執(zhí)行,見名知意就好,如果你用php寫shell 腳本蛛蒙,擴(kuò)展名就用php好了糙箍。
輸入一些代碼,第一行一般是這樣:
#!/bin/bash
#!/usr/bin/php
“#!”是一個(gè)約定的標(biāo)記牵祟,它告訴系統(tǒng)這個(gè)腳本需要什么解釋器來執(zhí)行倍靡。
運(yùn)行
運(yùn)行Shell腳本有兩種方法:
作為可執(zhí)行程序
chmod +x test.sh
./test.sh
注意,一定要寫成./test.sh课舍,而不是test.sh,運(yùn)行其它二進(jìn)制的程序也一樣他挎,直接寫test.sh筝尾,linux系統(tǒng)會(huì)去PATH里尋找有沒有叫test.sh的,而只有/bin, /sbin, /usr/bin办桨,/usr/sbin等在PATH里筹淫,你的當(dāng)前目錄通常不在PATH里,所以寫成test.sh是會(huì)找不到命令的呢撞,要用./test.sh告訴系統(tǒng)說损姜,就在當(dāng)前目錄找。
通過這種方式運(yùn)行bash腳本殊霞,第一行一定要寫對(duì)摧阅,好讓系統(tǒng)查找到正確的解釋器。
這里的"系統(tǒng)"绷蹲,其實(shí)就是shell這個(gè)應(yīng)用程序(想象一下Windows Explorer)棒卷,但我故意寫成系統(tǒng),是方便理解祝钢,既然這個(gè)系統(tǒng)就是指shell比规,那么一個(gè)使用/bin/sh作為解釋器的腳本是不是可以省去第一行呢?是的拦英。
作為解釋器參數(shù)
這種運(yùn)行方式是蜒什,直接運(yùn)行解釋器,其參數(shù)就是shell腳本的文件名疤估,如:
/bin/sh test.sh
/bin/php test.php
這種方式運(yùn)行的腳本灾常,不需要在第一行指定解釋器信息,寫了也沒用做裙。
變量
定義變量
定義變量時(shí)岗憋,變量名不加美元符號(hào)($),如:
your_name="qinjx"
注意锚贱,變量名和等號(hào)之間不能有空格仔戈,這可能和你熟悉的所有編程語(yǔ)言都不一樣。
除了顯式地直接賦值,還可以用語(yǔ)句給變量賦值监徘,如:
for file in `ls /etc`
使用變量
使用一個(gè)定義過的變量晋修,只要在變量名前面加美元符號(hào)即可,如:
your_name="qinjx"
echo $your_name
echo ${your_name}
變量名外面的花括號(hào)是可選的凰盔,加不加都行墓卦,加花括號(hào)是為了幫助解釋器識(shí)別變量的邊界,比如下面這種情況:
for skill in Ada Coffe Action Java do
echo "I am good at ${skill}Script"
done
如果不給skill變量加花括號(hào)户敬,寫成echo "I am good at $skillScript"落剪,解釋器就會(huì)把$skillScript當(dāng)成一個(gè)變量(其值為空),代碼執(zhí)行結(jié)果就不是我們期望的樣子了尿庐。
推薦給所有變量加上花括號(hào)忠怖,這是個(gè)好的編程習(xí)慣。IntelliJ IDEA編寫shell script時(shí)抄瑟,IDE就會(huì)提示加花括號(hào)凡泣。
重定義變量
已定義的變量,可以被重新定義皮假,如:
your_name="qinjx"
echo $your_name
your_name="alibaba"
echo $your_name
這樣寫是合法的鞋拟,但注意,第二次賦值的時(shí)候不能寫$your_name="alibaba"惹资,使用變量的時(shí)候才加美元符贺纲。
注釋
以“#”開頭的行就是注釋,會(huì)被解釋器忽略褪测。
多行注釋
sh里沒有多行注釋哮笆,只能每一行加一個(gè)#號(hào)。就像這樣:
#--------------------------------------------
# 這是一個(gè)自動(dòng)打ipa的腳本汰扭,基于webfrogs的ipa-build書寫:https://github.com/webfrogs/xcode_shell/blob/master/ipa-build
# 功能:自動(dòng)為etao ios app打包稠肘,產(chǎn)出物為14個(gè)渠道的ipa包
# 特色:全自動(dòng)打包,不需要輸入任何參數(shù)
#--------------------------------------------
##### 用戶配置區(qū) 開始 #####
#
#
# 項(xiàng)目根目錄萝毛,推薦將此腳本放在項(xiàng)目的根目錄项阴,這里就不用改了
# 應(yīng)用名,確保和Xcode里Product下的target_name.app名字一致
#
##### 用戶配置區(qū) 結(jié)束 #####
如果在開發(fā)過程中笆包,遇到大段的代碼需要臨時(shí)注釋起來环揽,過一會(huì)兒又取消注釋,怎么辦呢庵佣?每一行加個(gè)#符號(hào)太費(fèi)力了歉胶,可以把這一段要注釋的代碼用一對(duì)花括號(hào)括起來,定義成一個(gè)函數(shù)巴粪,沒有地方調(diào)用這個(gè)函數(shù)通今,這塊代碼就不會(huì)執(zhí)行粥谬,達(dá)到了和注釋一樣的效果。
字符串
字符串是shell編程中最常用最有用的數(shù)據(jù)類型(除了數(shù)字和字符串辫塌,也沒啥其它類型好用了漏策,哈哈),字符串可以用單引號(hào)臼氨,也可以用雙引號(hào)掺喻,也可以不用引號(hào)。單雙引號(hào)的區(qū)別跟PHP類似储矩。
單引號(hào)
str='this is a string'
單引號(hào)字符串的限制:
- 單引號(hào)里的任何字符都會(huì)原樣輸出感耙,單引號(hào)字符串中的變量是無效的
- 單引號(hào)字串中不能出現(xiàn)單引號(hào)(對(duì)單引號(hào)使用轉(zhuǎn)義符后也不行)
雙引號(hào)
your_name='qinjx'
str="Hello, I know your are \"$your_name\"! \n"
- 雙引號(hào)里可以有變量
- 雙引號(hào)里可以出現(xiàn)轉(zhuǎn)義字符
字符串操作
拼接字符串
your_name="qinjx"
greeting="hello, "$your_name" !"
greeting_1="hello, ${your_name} !"
echo $greeting $greeting_1
獲取字符串長(zhǎng)度:
string="abcd"
echo ${#string} #輸出:4
提取子字符串
string="alibaba is a great company"
echo ${string:1:4} #輸出:liba
查找子字符串
string="alibaba is a great company"
echo `expr index "$string" is`#輸出:8,這個(gè)語(yǔ)句的意思是:找出單詞is在這名話中的位置
更多
參見本文檔末尾的參考資料中Advanced Bash-Scripting Guid Chapter 10.1
數(shù)組
管道
條件判斷
流程控制
和Java持隧、PHP等語(yǔ)言不一樣抑月,sh的流程控制不可為空,如:
<?php
if (isset($_GET["q"])) {
search(q);
}
else {
//do nothing
}
在sh/bash里可不能這么寫舆蝴,如果else分支沒有語(yǔ)句執(zhí)行,就不要寫這個(gè)else题诵。
還要注意洁仗,sh里的if [ $foo -eq 0 ],這個(gè)方括號(hào)跟Java/PHP里if后面的圓括號(hào)大不相同性锭,它是一個(gè)可執(zhí)行程序(和cd, ls, grep一樣)赠潦,相不到吧?在CentOS上草冈,它在/usr/bin目錄下:
ll /usr/bin/[
-rwxr-xr-x. 1 root root 33408 6月 22 2012 /usr/bin/[
正因?yàn)榉嚼ㄌ?hào)在這里是一個(gè)可執(zhí)行程序她奥,方括號(hào)后面必須加空格,不能寫成if [$foo -eq 0]
if else
if
if condition
then
command1
command2
...
commandN
fi
寫成一行(適用于終端命令提示符):
if `ps -ef | grep ssh`; then echo hello; fi
末尾的fi就是if倒過來拼寫怎棱,后面還會(huì)遇到類似的
if else
if condition
then
command1
command2
...
commandN
else
command
fi
if else-if else
if condition1
then
command1
elif condition2
command2
else
commandN
fi
for while
for
在開篇的示例里演示過了:
for var in item1 item2 ... itemN
do
command1
command2
...
commandN
done
寫成一行:
for var in item1 item2 ... itemN; do command1; command2… done;
C風(fēng)格的for
for (( EXP1; EXP2; EXP3 ))
do
command1
command2
command3
done
while
while condition
do
command
done
無限循環(huán)
while :
do
command
done
或者
while true
do
command
done
或者
for (( ; ; ))
until
until condition
do
command
done
case
case "${opt}" in
"Install-Puppet-Server" )
install_master $1
exit
;;
"Install-Puppet-Client" )
install_client $1
exit
;;
"Config-Puppet-Server" )
config_puppet_master
exit
;;
"Config-Puppet-Client" )
config_puppet_client
exit
;;
"Exit" )
exit
;;
* ) echo "Bad option, please choose again"
esac
case的語(yǔ)法和C family語(yǔ)言差別很大哩俭,它需要一個(gè)esac(就是case反過來)作為結(jié)束標(biāo)記,每個(gè)case分支用右圓括號(hào)拳恋,用兩個(gè)分號(hào)表示break
函數(shù)
定義
調(diào)用
文件包含
可以使用source和.關(guān)鍵字凡资,如:
source ./function.sh
. ./function.sh
在bash里,source和.是等效的谬运,他們都是讀入function.sh的內(nèi)容并執(zhí)行其內(nèi)容(類似PHP里的include)隙赁,為了更好的可移植性,推薦使用第二種寫法梆暖。
包含一個(gè)文件和在執(zhí)行一個(gè)文件一樣伞访,也要寫這個(gè)文件的路徑,不能光寫文件名轰驳,比如上述例子中:
. ./function.sh
不可以寫作:
. function.sh
如果function.sh是用戶傳入的參數(shù)厚掷,如何獲得它的絕對(duì)路徑呢弟灼?方法是:
real_path=`readlink -f $1`#$1是用戶輸入的參數(shù),如function.sh
. $real_path
用戶輸入
執(zhí)行腳本時(shí)傳入
腳本運(yùn)行中輸入
select菜單
stdin和stdout
常用的命令
sh腳本結(jié)合系統(tǒng)命令便有了強(qiáng)大的威力蝗肪,在字符處理領(lǐng)域袜爪,有g(shù)rep、awk薛闪、sed三劍客辛馆,grep負(fù)責(zé)找出特定的行,awk能將行拆分成多個(gè)字段豁延,sed則可以實(shí)現(xiàn)更新插入刪除等寫操作昙篙。
ps
查看進(jìn)程列表
grep
排除grep自身
查找與target相鄰的結(jié)果
awk
sed
插入
替換
刪除
xargs
curl
綜合案例
參考資料
- Advanced Bash-Scripting Guide,非常詳細(xì)诱咏,非常易讀苔可,大量example,既可以當(dāng)入門教材袋狞,也可以當(dāng)做工具書查閱
- Unix Shell Programming
- Linux Shell Scripting Tutorial - A Beginner's handbook