使用正則表達(dá)式
來(lái)源Github項(xiàng)目：jackfrued/Python-100-Days
僅供學(xué)習(xí)參考
正則表達(dá)式相關(guān)知識(shí)
在編寫處理字符串的程序或網(wǎng)頁(yè)時(shí)关炼，經(jīng)常會(huì)有查找符合某些復(fù)雜規(guī)則的字符串的需要程腹，正則表達(dá)式就是用于描述這些規(guī)則的工具。
換句話說(shuō)正則表達(dá)式是一種工具盗扒，它定義了字符串的匹配模式（如何檢查一個(gè)字符串是否有跟某種模式匹配的部分或者從一個(gè)字符串中將與模式匹配的部分提取出來(lái)或者替換掉）跪楞。
如果你在Windows操作系統(tǒng)中使用過(guò)文件查找并且在指定文件名時(shí)使用過(guò)通配符（*和?），那么正則表達(dá)式也是與之類似的用來(lái)進(jìn)行文本匹配的工具侣灶，只不過(guò)比起通配符正則表達(dá)式更強(qiáng)大甸祭，它能更精確地描述你的需求（當(dāng)然你付出的代價(jià)是書寫一個(gè)正則表達(dá)式比打出一個(gè)通配符要復(fù)雜得多，要知道任何給你帶來(lái)好處的東西都是有代價(jià)的褥影，就如同學(xué)習(xí)一門編程語(yǔ)言一樣）池户。
比如你可以編寫一個(gè)正則表達(dá)式，用來(lái)查找所有以0開頭凡怎，后面跟著2-3個(gè)數(shù)字校焦，然后是一個(gè)連字號(hào)“-”，最后是7或8位數(shù)字的字符串（像028-12345678或0813-7654321）统倒，這不就是國(guó)內(nèi)的座機(jī)號(hào)碼嗎寨典。
最初計(jì)算機(jī)是為了做數(shù)學(xué)運(yùn)算而誕生的，處理的信息基本上都是數(shù)值房匆，而今天我們?cè)谌粘９ぷ髦刑幚淼男畔⒒旧隙际俏谋緮?shù)據(jù)耸成，我們希望計(jì)算機(jī)能夠識(shí)別和處理符合某些模式的文本报亩，正則表達(dá)式就顯得非常重要了。
今天幾乎所有的編程語(yǔ)言都提供了對(duì)正則表達(dá)式操作的支持井氢，Python通過(guò)標(biāo)準(zhǔn)庫(kù)中的re模塊來(lái)支持正則表達(dá)式操作弦追。
我們可以考慮下面一個(gè)問(wèn)題：我們從某個(gè)地方（可能是一個(gè)文本文件，也可能是網(wǎng)絡(luò)上的一則新聞）獲得了一個(gè)字符串花竞，希望在字符串中找出手機(jī)號(hào)和座機(jī)號(hào)劲件。
當(dāng)然我們可以設(shè)定手機(jī)號(hào)是11位的數(shù)字（注意并不是隨機(jī)的11位數(shù)字，因?yàn)槟銢](méi)有見過(guò)“25012345678”這樣的手機(jī)號(hào)吧）而座機(jī)號(hào)跟上一段中描述的模式相同约急，如果不使用正則表達(dá)式要完成這個(gè)任務(wù)就會(huì)很麻煩零远。
關(guān)于正則表達(dá)式的相關(guān)知識(shí)，大家可以閱讀一篇非常有名的博客叫《正則表達(dá)式30分鐘入門教程》烤宙，讀完這篇文章后你就可以看懂下面的表格遍烦，這是我們對(duì)正則表達(dá)式中的一些基本符號(hào)進(jìn)行的扼要總結(jié)俭嘁。
| 符號(hào) | 解釋 | 示例 | 說(shuō)明 |
|---|---|---|---|
| . | 匹配任意字符 | b.t | 可以匹配bat / but / b#t / b1t等 |
| \w | 匹配字母/數(shù)字/下劃線 | b\wt | 可以匹配bat / b1t / b_t等 但不能匹配b#t |
| \s | 匹配空白字符（包括\r躺枕、\n、\t等） | love\syou | 可以匹配love you |
| \d | 匹配數(shù)字 | \d\d | 可以匹配01 / 23 / 99等 |
| \b | 匹配單詞的邊界 | \bThe\b | |
| ^ | 匹配字符串的開始 | ^The | 可以匹配The開頭的字符串 |
| $ | 匹配字符串的結(jié)束 | .exe$ | 可以匹配.exe結(jié)尾的字符串 |
| \W | 匹配非字母/數(shù)字/下劃線 | b\Wt | 可以匹配b#t / b@t等 但不能匹配but / b1t / b_t等 |
| \S | 匹配非空白字符 | love\Syou | 可以匹配love#you等 但不能匹配love you |
| \D | 匹配非數(shù)字 | \d\D | 可以匹配9a / 3# / 0F等 |
| \B | 匹配非單詞邊界 | \Bio\B | |
| [] | 匹配來(lái)自字符集的任意單一字符 | [aeiou] | 可以匹配任一元音字母字符 |
| [^] | 匹配不在字符集中的任意單一字符 | [^aeiou] | 可以匹配任一非元音字母字符 |
| * | 匹配0次或多次 | \w* | |
| + | 匹配1次或多次 | \w+ | |
| ? | 匹配0次或1次 | \w? | |
| {N} | 匹配N次 | \w{3} | |
| {M,} | 匹配至少M(fèi)次 | \w{3,} | |
| {M,N} | 匹配至少M(fèi)次至多N次 | \w{3,6} | |
| | | 分支 | foo|bar | 可以匹配foo或者bar |
| (?#) | 注釋 | ||
| (exp) | 匹配exp并捕獲到自動(dòng)命名的組中 | ||
| (??<name>exp) | 匹配exp并捕獲到名為name的組中 | ||
| (?:exp) | 匹配exp但是不捕獲匹配的文本 | ||
| (?=exp) | 匹配exp前面的位置 | \b\w+(?=ing) | 可以匹配I'm dancing中的danc |
| (?<=exp) | 匹配exp后面的位置 | (?<=\bdanc)\w+\b | 可以匹配I love dancing and reading中的第一個(gè)ing |
| (?!exp) | 匹配后面不是exp的位置 | ||
| (?<!exp) | 匹配前面不是exp的位置 | ||
| *? | 重復(fù)任意次供填，但盡可能少重復(fù) | a.*b a.*?b |
將正則表達(dá)式應(yīng)用于aabab拐云，前者會(huì)匹配整個(gè)字符串a(chǎn)abab，后者會(huì)匹配aab和ab兩個(gè)字符串 |
| +? | 重復(fù)1次或多次近她，但盡可能少重復(fù) | ||
| ?? | 重復(fù)0次或1次叉瘩，但盡可能少重復(fù) | ||
| {M,N}? | 重復(fù)M到N次，但盡可能少重復(fù) | ||
| {M,}? | 重復(fù)M次以上粘捎，但盡可能少重復(fù) |
說(shuō)明： 如果需要匹配的字符是正則表達(dá)式中的特殊字符薇缅，那么可以使用\進(jìn)行轉(zhuǎn)義處理，例如想匹配小數(shù)點(diǎn)可以寫成\.就可以了攒磨，因?yàn)橹苯訉?會(huì)匹配任意字符泳桦；同理，想匹配圓括號(hào)必須寫成\(和\)娩缰，否則圓括號(hào)被視為正則表達(dá)式中的分組灸撰。
Python對(duì)正則表達(dá)式的支持
Python提供了re模塊來(lái)支持正則表達(dá)式相關(guān)操作，下面是re模塊中的核心函數(shù)拼坎。
| 函數(shù) | 說(shuō)明 |
|---|---|
| compile(pattern, flags=0) | 編譯正則表達(dá)式返回正則表達(dá)式對(duì)象 |
| match(pattern, string, flags=0) | 用正則表達(dá)式匹配字符串 成功返回匹配對(duì)象 否則返回None |
| search(pattern, string, flags=0) | 搜索字符串中第一次出現(xiàn)正則表達(dá)式的模式 成功返回匹配對(duì)象 否則返回None |
| split(pattern, string, maxsplit=0, flags=0) | 用正則表達(dá)式指定的模式分隔符拆分字符串 返回列表 |
| sub(pattern, repl, string, count=0, flags=0) | 用指定的字符串替換原字符串中與正則表達(dá)式匹配的模式 可以用count指定替換的次數(shù) |
| fullmatch(pattern, string, flags=0) | match函數(shù)的完全匹配（從字符串開頭到結(jié)尾）版本 |
| findall(pattern, string, flags=0) | 查找字符串所有與正則表達(dá)式匹配的模式 返回字符串的列表 |
| finditer(pattern, string, flags=0) | 查找字符串所有與正則表達(dá)式匹配的模式 返回一個(gè)迭代器 |
| purge() | 清除隱式編譯的正則表達(dá)式的緩存 |
| re.I / re.IGNORECASE | 忽略大小寫匹配標(biāo)記 |
| re.M / re.MULTILINE | 多行匹配標(biāo)記 |
說(shuō)明： 上面提到的re模塊中的這些函數(shù)浮毯，實(shí)際開發(fā)中也可以用正則表達(dá)式對(duì)象的方法替代對(duì)這些函數(shù)的使用，如果一個(gè)正則表達(dá)式需要重復(fù)的使用泰鸡，那么先通過(guò)compile函數(shù)編譯正則表達(dá)式并創(chuàng)建出正則表達(dá)式對(duì)象無(wú)疑是更為明智的選擇债蓝。
下面我們通過(guò)一系列的例子來(lái)告訴大家在Python中如何使用正則表達(dá)式。
例子1：驗(yàn)證輸入用戶名和QQ號(hào)是否有效并給出對(duì)應(yīng)的提示信息盛龄。
"""
驗(yàn)證輸入用戶名和QQ號(hào)是否有效并給出對(duì)應(yīng)的提示信息
要求：用戶名必須由字母饰迹、數(shù)字或下劃線構(gòu)成且長(zhǎng)度在6~20個(gè)字符之間器虾，QQ號(hào)是5~12的數(shù)字且首位不能為0
"""
import re
def main():
username = input('請(qǐng)輸入用戶名: ')
qq = input('請(qǐng)輸入QQ號(hào): ')
# match函數(shù)的第一個(gè)參數(shù)是正則表達(dá)式字符串或正則表達(dá)式對(duì)象
# 第二個(gè)參數(shù)是要跟正則表達(dá)式做匹配的字符串對(duì)象
m1 = re.match(r'^[0-9a-zA-Z_]{6,20}$', username)
if not m1:
print('請(qǐng)輸入有效的用戶名.')
m2 = re.match(r'^[1-9]\d{4,11}$', qq)
if not m2:
print('請(qǐng)輸入有效的QQ號(hào).')
if m1 and m2:
print('你輸入的信息是有效的!')
if __name__ == '__main__':
main()
提示： 上面在書寫正則表達(dá)式時(shí)使用了“原始字符串”的寫法（在字符串前面加上了r），所謂“原始字符串”就是字符串中的每個(gè)字符都是它原始的意義蹦锋，說(shuō)得更直接一點(diǎn)就是字符串中沒(méi)有所謂的轉(zhuǎn)義字符啦兆沙。因?yàn)檎齽t表達(dá)式中有很多元字符和需要進(jìn)行轉(zhuǎn)義的地方，如果不使用原始字符串就需要將反斜杠寫作\\莉掂，例如表示數(shù)字的\d得書寫成\\d葛圃，這樣不僅寫起來(lái)不方便，閱讀的時(shí)候也會(huì)很吃力憎妙。
例子2：從一段文字中提取出國(guó)內(nèi)手機(jī)號(hào)碼库正。
下面這張圖是截止到2017年底，國(guó)內(nèi)三家運(yùn)營(yíng)商推出的手機(jī)號(hào)段厘唾。
[圖片上傳失敗...(image-9beea-1586276505791)]
import re
def main():
# 創(chuàng)建正則表達(dá)式對(duì)象 使用了前瞻和回顧來(lái)保證手機(jī)號(hào)前后不應(yīng)該出現(xiàn)數(shù)字
pattern = re.compile(r'(?<=\D)1[34578]\d{9}(?=\D)')
sentence = '''
重要的事情說(shuō)8130123456789遍褥符，我的手機(jī)號(hào)是13512346789這個(gè)靚號(hào)，
不是15600998765抚垃，也是110或119喷楣，王大錘的手機(jī)號(hào)才是15600998765。
'''
# 查找所有匹配并保存到一個(gè)列表中
mylist = re.findall(pattern, sentence)
print(mylist)
print('--------華麗的分隔線--------')
# 通過(guò)迭代器取出匹配對(duì)象并獲得匹配的內(nèi)容
for temp in pattern.finditer(sentence):
print(temp.group())
print('--------華麗的分隔線--------')
# 通過(guò)search函數(shù)指定搜索位置找出所有匹配
m = pattern.search(sentence)
while m:
print(m.group())
m = pattern.search(sentence, m.end())
if __name__ == '__main__':
main()
說(shuō)明： 上面匹配國(guó)內(nèi)手機(jī)號(hào)的正則表達(dá)式并不夠好鹤树，因?yàn)橄?4開頭的號(hào)碼只有145或147铣焊，而上面的正則表達(dá)式并沒(méi)有考慮這種情況，要匹配國(guó)內(nèi)手機(jī)號(hào)罕伯，更好的正則表達(dá)式的寫法是：
(?<=\D)(1[38]\d{9}|14[57]\d{8}|15[0-35-9]\d{8}|17[678]\d{8})(?=\D)曲伊，國(guó)內(nèi)最近好像有19和16開頭的手機(jī)號(hào)了，但是這個(gè)暫時(shí)不在我們考慮之列追他。
后話
如果要從事爬蟲類應(yīng)用的開發(fā)坟募，那么正則表達(dá)式一定是一個(gè)非常好的助手，因?yàn)樗梢詭椭覀冄杆俚膹木W(wǎng)頁(yè)代碼中發(fā)現(xiàn)某種我們指定的模式并提取出我們需要的信息邑狸。
當(dāng)然對(duì)于初學(xué)者來(lái)說(shuō)懈糯，要編寫一個(gè)正確的適當(dāng)?shù)恼齽t表達(dá)式可能并不是一件容易的事情（當(dāng)然有些常用的正則表達(dá)式可以直接在網(wǎng)上找找），所以實(shí)際開發(fā)爬蟲應(yīng)用的時(shí)候推溃，有很多人會(huì)選擇Beautiful Soup或Lxml來(lái)進(jìn)行匹配和信息的提取昂利，前者簡(jiǎn)單方便但是性能較差，后者既好用性能也好铁坎，但是安裝稍嫌麻煩蜂奸，這些內(nèi)容我們會(huì)在后期的爬蟲專題中為大家介紹。
