1.常用符號
. 匹配任意單個(gè)字符森瘪，如 a.b 為a“任意某個(gè)字符”b acb adb
\ 轉(zhuǎn)義字符
[...]為字符集，相當(dāng)于在括號中任選一個(gè)
2.預(yù)定義字符集
\d 匹配任意數(shù)字引瀑，等價(jià)于 [0-9]
\D 匹配任意非數(shù)字，等價(jià)于[^0-9]
\s 匹配任意空白字符，等價(jià)于 [\t\n\r\f\v]
\S 匹配任意非空字符,等價(jià)于[^\t\n\r\f\v]
\w 匹配包括下劃線的任何單詞字符。等價(jià)于'[A-Za-z0-9_]'
\W 匹配任何非單詞字符士嚎。等價(jià)于 '[^A-Za-z0-9_]'
3.數(shù)量詞
“*” 匹配前一個(gè)字符0或無限次
“+” 1或無限次
? 0或1次
{m} m次
{m,n} m到n次
例如ab？c 則為匹配ac abc
4.邊界匹配
^ 匹配字符串開頭
$ 匹配字符串結(jié)尾
\A 僅匹配字符串開頭
\Z 僅匹配字符串結(jié)尾
python中常用的(.?)悔叽， （） 表示括號的內(nèi)容作為返回結(jié)果莱衩，返回的為列表
“.?”是非貪心算法，匹配任意的字符娇澎，例如：“xxIxxhatexxphysicsxx”
可以通過'xx(.*?)xx'匹配符合這種規(guī)則的字符串
re模塊及其方法
1.compile(pattern, flags=0) compile 編譯 pattern 模式 基本上不用
給定一個(gè)正則表達(dá)式 pattern笨蚁，指定使用的模式 flags 默認(rèn)為0 即不使用任何模式,然后會返回一個(gè)SRE_Pattern
'''
regex = re.compile(".+")
print regex
output> <_sre.SRE_Pattern object at 0x00000000026BB0B8>
'''
這個(gè)對象可以調(diào)用其他函數(shù)來完成匹配，一般來說推薦使用 compile 函數(shù)預(yù)編譯出一個(gè)正則模式之后再去使用趟庄，這樣在后面的代碼中可以很方便的復(fù)用它括细，當(dāng)然大部分函數(shù)也可以不用 compile 直接使用，具體見 findall 函數(shù)
2.findall(pattern, string, flags=0)
參數(shù) pattern 為正則表達(dá)式, string 為待操作字符串, flags 為所用模式戚啥，函數(shù)作用為在待操作字符串中尋找所有匹配正則表達(dá)式的字串奋单，返回一個(gè)列表，如果沒有匹配到任何子串猫十，返回一個(gè)空列表览濒。
'''
s = '''first line
second line
third line'''
compile 預(yù)編譯后使用 findall
regex = re.compile("\w+")
print regex.findall(s)
output> ['first', 'line', 'second', 'line', 'third', 'line']
不使用 compile 直接使用 findall
print re.findall("\w+", s)
output> ['first', 'line', 'second', 'line', 'third', 'line']
'''
3.match(pattern, string, flags=0)
使用指定正則去待操作字符串中尋找可以匹配的子串, 返回匹配上的第一個(gè)字串，并且不再繼續(xù)找拖云，需要注意的是 match 函數(shù)是從字符串開始處開始查找的贷笛，如果開始處不匹配，則不再繼續(xù)尋找江兢，返回值為 一個(gè) SRE_Match 對象昨忆，找不到時(shí)返回 None
'''
s = '''first line
second line
third line'''
compile實(shí)例用法：
regex = re.compile("\w+")
m = regex.match(s)
print m
output> <_sre.SRE_Match object at 0x0000000002BCA8B8>
print m.group()
output> first
s 的開頭是 "f", 但正則中限制了開始為 i 所以找不到
regex = re.compile("^i\w+")
print regex.match(s)
output> None
'''
4.search(pattern, string, flags=0)
函數(shù)類似于 match，不同之處在于不限制正則表達(dá)式的開始匹配位置
s = '''first line
second line
third line'''
需要從開始處匹配 所以匹配不到
print re.match('i\w+', s)
output> None
沒有限制起始匹配位置(所以一般用search（）方法)
print re.search('i\w+', s)
output> <_sre.SRE_Match object at 0x0000000002C6A920>
print re.search('i\w+', s).group()
output> irst
5.sub(pattern, repl, string, count=0, flags=0)
替換函數(shù)杉允，將正則表達(dá)式 pattern 匹配到的字符串替換為 repl 指定的字符串, 參數(shù) count 用于指定最大替換次數(shù)
'''
s = "the sum of 7 and 9 is [7+9]."
基本用法 將目標(biāo)替換為固定字符串
print re.sub('[7+9]', '16', s)
output> the sum of 7 and 9 is 16.
高級用法 1 使用前面匹配的到的內(nèi)容 \1 代表 pattern 中捕獲到的第一個(gè)分組的內(nèi)容
print re.sub('[(7)+(9)]', r'\2\1', s)
output> the sum of 7 and 9 is 97.
高級用法 2 使用函數(shù)型 repl 參數(shù), 處理匹配到的 SRE_Match 對象
def replacement(m):
p_str = m.group()
if p_str == '7':
return '77'
if p_str == '9':
return '99'
return ''
print re.sub('\d', replacement, s)
output> the sum of 77 and 99 is [77+99].
高級用法 3 使用函數(shù)型 repl 參數(shù), 處理匹配到的 SRE_Match 對象 增加作用域 自動計(jì)算
scope = {}
example_string_1 = "the sum of 7 and 9 is [7+9]."
example_string_2 = "[name = 'Mr.Gumby']Hello,[name]"
def replacement(m):
code = m.group(1)
st = ''
try:
st = str(eval(code, scope))
except SyntaxError:
exec code in scope
return st
解析: code='7+9'
str(eval(code, scope))='16'
print re.sub('[(.+?)]', replacement, example_string_1)
output> the sum of 7 and 9 is 16.
兩次替換
解析1: code="name = 'Mr.Gumby'"
eval(code)
raise SyntaxError
exec code in scope
在命名空間 scope 中將 "Mr.Gumby" 賦給了變量 name
解析2: code="name"
eval(name) 返回變量 name 的值 Mr.Gumby
print re.sub('[(.+?)]', replacement, example_string_2)
output> Hello,Mr.Gumby
'''
其中最常用最easy的就是findall（）用法邑贴，例如
'''
import lxml
import requests
from bs4 import BeautifulSoup
import time
import re
headers={
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.75 Safari/537.36'
}
url="http://bj.xiaozhu.com/"
web_data=requests.get(url,headers=headers)
prices=re.findall('<span class="result_price">￥<i>(.*?)</i></span>',web_data.text)
print(prices)
'''
找findall內(nèi)容的時(shí)候在右鍵查看網(wǎng)頁源代碼里面找，如上圖叔磷。
re模塊修飾符
修飾符 描述
re.I 使匹配對大小寫不敏感
re.L 做本地化識別（locale-aware）匹配
re.M 多行匹配拢驾，影響 ^ 和 $
re.S 使 . 匹配包括換行在內(nèi)的所有字符
re.U 根據(jù)Unicode字符集解析字符。這個(gè)標(biāo)志影響 \w, \W, \b, \B.
re.X 該標(biāo)志通過給予你更靈活的格式以便你將正則表達(dá)式寫得更易于理解改基。
最常用的就是re.S繁疤，它能夠?qū)崿F(xiàn)換行匹配，例如
'''
import re
s="""<div>爬蟲
</div>
"""
word=re.findall("<div>(.*?)</div>",s,re.S)
print(word)
print(word[0].strip())
'''
輸出如下：
