1.正則表達(dá)式：世界上的信息非常多杀怠，而我們關(guān)注的信息是有限的椰憋。假如我們希望只提取出關(guān)注的數(shù)據(jù)，此時(shí)可以通過(guò)一些表達(dá)式提取赔退，正則表達(dá)式就是其中一種進(jìn)行數(shù)據(jù)篩選的表達(dá)式橙依。
2.原子：是正則表達(dá)式中最基本的組成單位。每個(gè)正則表達(dá)式至少包括一個(gè)原子硕旗。常見(jiàn)的原子類(lèi)型有：
a.普通字符
例1：

import re
pat = "yue"
string = "http://yum,iqianyue.com"
rst1 = re.search(pat, string)
print(rst1)

結(jié)果是

<_sre.SRE_Match object; span=(16, 19), match='yue'>

例2：

import re
pat = "yue"
string2 = "abcdefg"
rst2 = re.search(pat, string2)
print(rst2)

結(jié)果是

None

b.非打印字符
如：\n 換行符 \t 制表符
例3：

import re
pat2 = "\n"
string3 = '''ahsixjxbshjs
skakxnxjxkk'''
rst3 = re.search(pat2, string3)
print(rst3)

注：字符換行最好用三引號(hào)窗骑，支持換行
結(jié)果是：

<_sre.SRE_Match object; span=(12, 13), match='\n'>

c.通用字符
\w ：匹配任意的一個(gè)字母，數(shù)字卵渴，或下劃線
\d :匹配任意一個(gè)十進(jìn)制數(shù)
\s :匹配任意一個(gè)空白字符
\W：匹配\w相反的東西
即\W與\w互補(bǔ)慧域，同理\D和\d ，\S和\s
例4：

import re
pat3 = "\w\dpython\w"
string4 = "qhsiixjjwhsbmxk"
rst4 = re.search(pat3, string4)
print(rst4)
string5 = "ahuqjz7pythonejwokw"
rst5 = re.search(pat3, string5)
print(rst5)

結(jié)果是：

None
<_sre.SRE_Match object; span=(5, 14),match='z7pythone'>

d.原子表
原子表主要是定義一組平等的原子浪读，用[]括起來(lái)
例如：[jsz]里面有三個(gè)原子昔榴，處于平等地位
例5：

import re
pat4 = "js[qusi]w"
string6 = "shdjsuwlszmsj"
rst6 = re.search(pat4, string6)
print(rst6)
string7 = "shaajsquwxns"
rst7 = re.search(pat4, string7)
print(rst7)

結(jié)果是：

<_sre.SRE_Match object; span=(3, 7), match='jsuw'>
None

注:[]只能匹配其中的一個(gè)原子
3.元字符
所謂元字符，就是正則表達(dá)式中有一些特殊含義的字符碘橘，比如重復(fù)n次前面的字符互订。
a. . 匹配任意字符
b. ^ 匹配字符串開(kāi)始的位置
c. $匹配字符串結(jié)束的位置
d. *匹配0次，1次或多次前面的字符
e. ?匹配0次或1次
f. +匹配一次或多次
g. {n}前面的原子恰好出現(xiàn)n次, n是具體的數(shù)字
h. {n,}前面的原子至少出現(xiàn)n次
i. {n,m}前面的原子至少出現(xiàn)n次痘拆，至多出現(xiàn)m次
j. | 模式選擇符 如：t|s 即t或者s
k. ()用于提取某一個(gè)內(nèi)容上
例:6：

import re
pat = ".python..."
string = "ahdijxhapythonaxji"
rst = re.search(pat,string)
print(rst)

結(jié)果是

<_sre.SRE_Match object; span=(7, 17), match='apythonaxj'>

例7：

import re
pat1 = "python|php"
string1 = "ahqosxphpszhpythonxmak"
rst = re.search(pat1,string1)
print(rst)

結(jié)果是

<_sre.SRE_Match object; span=(6, 9), match='php'>

4.模式修正符：
即在不改變正則表達(dá)式的情況下仰禽，通過(guò)模式修正符改變正則表達(dá)式的含義，從而實(shí)現(xiàn)一些匹配結(jié)果調(diào)整的功能纺蛆。
I ：匹配時(shí)讓表達(dá)式忽略大小寫(xiě)
M：可以進(jìn)行多行匹配
L：本地話識(shí)別匹配
U：根據(jù)unique解析我們的字符
S：讓 . 能夠匹配換行符
例8：

import re
pat1 = "python"
pat2 = "python"
string = "sjqojnuPythonsow"
rst = re.search(pat1,string)
print(rst)
rst1 = re.search(pat2,string,re.I)
print(rst1)

結(jié)果是

None
<_sre.SRE_Match object; span=(7, 13), match='Python'>

5.貪婪模式和懶惰模式
貪婪模式的核心點(diǎn)是盡可能多的去匹配吐葵，懶惰模式的核心點(diǎn)是盡可能少的去匹配。
例9：

import re
pat1 = "p.*y"  #貪婪模型
pat2 = "p.*?y" #懶惰模式
string = "abcdksjaopythonshuapy"
rst1 = re.search(pat1,string)
print(rst1)
rst2 = re.search(pat2,string)
print(rst2)

結(jié)果是：

<_sre.SRE_Match object; span=(9, 21), match='pythonshuapy'>
<_sre.SRE_Match object; span=(9, 11), match='py'>

6.正則表達(dá)式函數(shù)：
正則表達(dá)式的函數(shù)有
re.match() #從頭開(kāi)始搜索桥氏，若開(kāi)頭不是就直接out了
re.search() #從一個(gè)字符串中從左往右一次搜索確定條件下的表達(dá)式温峭。
全局匹配函數(shù) #
re.sub() #主要用于替換
例10.

import re
pat = "python"
string = "shqiahqpython"
rst = re.search(pat,string)
print(rst)
rst1 = re.match(pat,string)
print(rst1)
string1 = "pythonakqs"
rst2 = re.match(pat,string1)
print(rst2)

結(jié)果是：

<_sre.SRE_Match object; span=(7, 13), match='python'>
None
<_sre.SRE_Match object; span=(0, 6), match='python'>

全局搜索函數(shù)：
例11.

import re
pat1 = "p.*?y"
string = "sjiqhspsgqhysqjpshqy"
rst = re.search(pat1,string)
print(rst)
rst1 = re.compile(pat1).findall(string)
print(rst1)

結(jié)果是：

<_sre.SRE_Match object; span=(6, 12), match='psgqhy'>
['psgqhy', 'pshqy']

7.常見(jiàn)正則實(shí)例：
注：搜索源代碼，右鍵字支，查看源代碼凤藏，ctrl+F
如何匹配.com和.cn的網(wǎng)址，以及如何匹配電話號(hào)碼
首先堕伪，介紹一下揖庄，‘[ ]’ 字符集合設(shè)定符
首先說(shuō)明一下字符集合設(shè)定的方法。由一對(duì)方括號(hào)括起來(lái)的字符欠雌，表明一個(gè)字符集合蹄梢，能夠匹配包含在其中的任意一個(gè)字符。比如 [abc123]富俄，表明字符’a’ ‘b’ ‘c’ ‘1’ ‘2’ ‘3’都符合它的要求检号。可以被匹配蛙酪。
在’[ ]’中還可以通過(guò) ’-‘ 減號(hào)來(lái)指定一個(gè)字符集合的范圍齐苛，比如可以用[a-zA-Z]來(lái)指定所以英文字母的大小寫(xiě)，因?yàn)橛⑽淖帜甘前凑諒男〉酱蟮捻樞騺?lái)排的桂塞。你不可以把大小的順序顛倒了凹蜂，比如寫(xiě)成[z-a]就不對(duì)了。
如果在’[ ]’里面的開(kāi)頭寫(xiě)一個(gè) ‘^’ 號(hào)阁危，則表示取非玛痊，即在括號(hào)里的字符都不匹配。如[^a-zA-Z]表明不匹配所有英文字母狂打。但是如果 ‘^{’不在開(kāi)頭擂煞，則它就不再是表示取非，而表示其本身趴乡，如[a-z}A-Z]表明匹配所有的英文字母和字符’^’对省。
例12.

import re
pat = "[a-zA-Z]+://[^\s]*[.com|.cn]"
string = '<a 
rst1 = re.compile(pat).findall(string)
print(rst1)

結(jié)果是：

['http://www.baidu.com']

import urllib.request
response = urllib.request.urlopen('http://www.baidu.com')
html =str(response.read(),'utf-8')
print(html)

8.從https://read.douban.com/provider/all中爬取所有出版社

import re
pat = '''<div class="name">(.*?)</div>'''
import urllib.request
data = urllib.request.urlopen("https://read.douban.com/provider/all").read()
rst = re.compile(pat).findall(str(data,'utf-8'))
print(rst)

或者蝗拿，

import urllib.request
data = urllib.request.urlopen("https://read.douban.com/provider/all").read()
data = data.decode("utf-8")
import re
pat = '''<div class="name">(.*?)</div>'''
mydata = re.compile(pat).findall(data)
fh = open("E:/1.txt","w")
for i in range(0,len(mydata)):
    fh.write(mydata[i]+"\n")
print(fh)