常用模塊

認識模塊

什么是模塊

什么是模塊拘哨？

? ?常見的場景：一個模塊就是一個包含了python定義和聲明的文件谋梭，文件名就是模塊名字加上.py的后綴。

? ?但其實import加載的模塊分為四個通用類別：

　　1 使用python編寫的代碼（.py文件）

　　2 已被編譯為共享庫或DLL的C或C++擴展

　　3 包好一組模塊的包

　　4 使用C編寫并鏈接到python解釋器的內(nèi)置模塊

為何要使用模塊倦青？

? ?如果你退出python解釋器然后重新進入瓮床，那么你之前定義的函數(shù)或者變量都將丟失，因此我們通常將程序?qū)懙轿募幸员阌谰帽４嫦聛聿洌枰獣r就通過python test.py方式去執(zhí)行隘庄，此時test.py被稱為腳本script。

? ? 隨著程序的發(fā)展癣亚，功能越來越多丑掺，為了方便管理，我們通常將程序分成一個個的文件逃糟，這樣做程序的結(jié)構(gòu)更清晰吼鱼，方便管理。這時我們不僅僅可以把這些文件當(dāng)做腳本去執(zhí)行绰咽，還可以把他們當(dāng)做模塊來導(dǎo)入到其他的模塊中菇肃，實現(xiàn)了功能的重復(fù)利用，

常用模塊

collections模塊

在內(nèi)置數(shù)據(jù)類型（dict取募、list琐谤、set、tuple）的基礎(chǔ)上玩敏，collections模塊還提供了幾個額外的數(shù)據(jù)類型：Counter斗忌、deque、defaultdict旺聚、namedtuple和OrderedDict等织阳。

1.namedtuple: 生成可以使用名字來訪問元素內(nèi)容的tuple

2.deque: 雙端隊列，可以快速的從另外一側(cè)追加和推出對象

3.Counter: 計數(shù)器砰粹，主要用來計數(shù)

4.OrderedDict: 有序字典

5.defaultdict: 帶有默認值的字典

namedtuple

我們知道tuple可以表示不變集合唧躲，例如，一個點的二維坐標(biāo)就可以表示成：

>>> p = (1, 2)

但是，看到(1, 2)弄痹，很難看出這個tuple是用來表示一個坐標(biāo)的饭入。

這時，namedtuple就派上了用場：

>>> from collections import namedtuple

>>> Point = namedtuple('Point', ['x', 'y'])

>>> p = Point(1, 2)

>>> p.x

1

>>> p.y

2

類似的肛真，如果要用坐標(biāo)和半徑表示一個圓谐丢，也可以用namedtuple定義：

#namedtuple('名稱', [屬性list]):Circle = namedtuple('Circle', ['x', 'y', 'r'])

deque

使用list存儲數(shù)據(jù)時，按索引訪問元素很快蚓让，但是插入和刪除元素就很慢了乾忱，因為list是線性存儲，數(shù)據(jù)量大的時候凭疮，插入和刪除效率很低饭耳。

deque是為了高效實現(xiàn)插入和刪除操作的雙向列表串述，適合用于隊列和棧：

>>> from collections import deque

>>> q = deque(['a', 'b', 'c'])

>>> q.append('x')

>>> q.appendleft('y')

>>> q

deque(['y', 'a', 'b', 'c', 'x'])

deque除了實現(xiàn)list的append()和pop()外执解，還支持appendleft()和popleft()，這樣就可以非常高效地往頭部添加或刪除元素纲酗。

OrderedDict

使用dict時衰腌，Key是無序的。在對dict做迭代時觅赊，我們無法確定Key的順序右蕊。

如果要保持Key的順序，可以用OrderedDict：

>>> from collections import OrderedDict

>>> d = dict([('a', 1), ('b', 2), ('c', 3)])

>>> d # dict的Key是無序的{'a': 1, 'c': 3, 'b': 2}

>>> od = OrderedDict([('a', 1), ('b', 2), ('c', 3)])

>>> od # OrderedDict的Key是有序的OrderedDict([('a', 1), ('b', 2), ('c', 3)])

注意吮螺，OrderedDict的Key會按照插入的順序排列饶囚，不是Key本身排序：

>>> od = OrderedDict()

>>> od['z'] = 1

>>> od['y'] = 2

>>> od['x'] = 3

>>> od.keys() # 按照插入的Key的順序返回['z', 'y', 'x']

defaultdict? 帶有默認值的字典

有如下值集合 [11,22,33,44,55,66,77,88,99,90...]，將所有大于?66?的值保存至字典的第一個key中鸠补，將小于?66?的值保存至第二個key的值中萝风。

即： {'k1': 大于66?,?'k2': 小于66}

values = [11, 22, 33,44,55,66,77,88,99,90]

my_dict = {}for value in? values:

? ? if value>66:

? ? ? ? if my_dict.has_key('k1'):

? ? ? ? ? ? my_dict['k1'].append(value)

? ? ? ? else:

? ? ? ? ? ? my_dict['k1'] = [value]

? ? else:

? ? ? ? if my_dict.has_key('k2'):

? ? ? ? ? ? my_dict['k2'].append(value)

? ? ? ? else:

? ? ? ? ? ? my_dict['k2'] = [value]

from collections import defaultdict

values = [11, 22, 33,44,55,66,77,88,99,90]

my_dict = defaultdict(list)for value in? values:

? ? if value>66:

? ? ? ? my_dict['k1'].append(value)

? ? else:

? ? ? ? my_dict['k2'].append(value)

使用dict時，如果引用的Key不存在紫岩，就會拋出KeyError规惰。如果希望key不存在時，返回一個默認值泉蝌，就可以用defaultdict：

>>> from collections import defaultdict

>>> dd = defaultdict(lambda: 'N/A')

>>> dd['key1'] = 'abc'>>> dd['key1'] # key1存在'abc'>>> dd['key2'] # key2不存在歇万，返回默認值'N/A'

Counter

Counter類的目的是用來跟蹤值出現(xiàn)的次數(shù)。它是一個無序的容器類型勋陪，以字典的鍵值對形式存儲贪磺，其中元素作為key，其計數(shù)作為value诅愚。計數(shù)值可以是任意的Interger（包括0和負數(shù)）寒锚。Counter類和其他語言的bags或multisets很相似。

c = Counter('abcdeabcdabcaba')print c

輸出：Counter({'a': 5, 'b': 4, 'c': 3, 'd': 2, 'e': 1})

其他詳細內(nèi)容 http://www.cnblogs.com/Eva-J/articles/7291842.html

時間模塊

和時間有關(guān)系的我們就要用到時間模塊。在使用模塊之前壕曼，應(yīng)該首先導(dǎo)入這個模塊苏研。

#常用方法1.time.sleep(secs)

(線程)推遲指定的時間運行。單位為秒腮郊。

2.time.time()

獲取當(dāng)前時間戳

表示時間的三種方式

在Python中摹蘑，通常有這三種方式來表示時間：時間戳、元組(struct_time)轧飞、格式化的時間字符串：

(1)時間戳(timestamp) ：通常來說衅鹿，時間戳表示的是從1970年1月1日00:00:00開始按秒計算的偏移量。我們運行“type(time.time())”过咬，返回的是float類型大渤。

(2)格式化的時間字符串(Format String)： ‘1999-12-06’

%y 兩位數(shù)的年份表示（00-99）

%Y 四位數(shù)的年份表示（000-9999）

%m 月份（01-12）

%d 月內(nèi)中的一天（0-31）

%H 24小時制小時數(shù)（0-23）

%I 12小時制小時數(shù)（01-12）

%M 分鐘數(shù)（00=59）

%S 秒（00-59）

%a 本地簡化星期名稱

%A 本地完整星期名稱

%b 本地簡化的月份名稱

%B 本地完整的月份名稱

%c 本地相應(yīng)的日期表示和時間表示

%j 年內(nèi)的一天（001-366）

%p 本地A.M.或P.M.的等價符

%U 一年中的星期數(shù)（00-53）星期天為星期的開始

%w 星期（0-6），星期天為星期的開始

%W 一年中的星期數(shù)（00-53）星期一為星期的開始

%x 本地相應(yīng)的日期表示

%X 本地相應(yīng)的時間表示

%Z 當(dāng)前時區(qū)的名稱

%% %號本身

(3)元組(struct_time) ：struct_time元組共有9個元素共九個元素:(年掸绞，月泵三，日，時衔掸，分烫幕，秒，一年中第幾周敞映，一年中第幾天等）

索引（Index）屬性（Attribute）值（Values）

0tm_year（年）比如2011

1tm_mon（月）1 - 12

2tm_mday（日）1 - 31

3tm_hour（時）0 - 23

4tm_min（分）0 - 59

5tm_sec（秒）0 - 60

6tm_wday（weekday）0 - 6（0表示周一）

7tm_yday（一年中的第幾天）1 - 366

8tm_isdst（是否是夏令時）默認為0

?首先较曼，我們先導(dǎo)入time模塊，來認識一下python中表示時間的幾種格式：

#導(dǎo)入時間模塊>>>import time#時間戳>>>time.time()

1500875844.800804#時間字符串>>>time.strftime("%Y-%m-%d %X")'2017-07-24 13:54:37'>>>time.strftime("%Y-%m-%d %H-%M-%S")'2017-07-24 13-55-04'#時間元組:localtime將一個時間戳轉(zhuǎn)換為當(dāng)前時區(qū)的struct_timetime.localtime()

time.struct_time(tm_year=2017, tm_mon=7, tm_mday=24,

　　　　　　　　　　tm_hour=13, tm_min=59, tm_sec=37,

? ? ? ? ? ? ? ? tm_wday=0, tm_yday=205, tm_isdst=0)

小結(jié)：時間戳是計算機能夠識別的時間振愿；時間字符串是人能夠看懂的時間捷犹；元組則是用來操作時間的

幾種格式之間的轉(zhuǎn)換

#時間戳-->結(jié)構(gòu)化時間

#time.gmtime(時間戳)? ? #UTC時間，與英國倫敦當(dāng)?shù)貢r間一致

#time.localtime(時間戳) #當(dāng)?shù)貢r間冕末。例如我們現(xiàn)在在北京執(zhí)行這個方法：與UTC時間相差8小時萍歉，UTC時間+8小時 = 北京時間 >>>time.gmtime(1500000000)

time.struct_time(tm_year=2017, tm_mon=7, tm_mday=14, tm_hour=2, tm_min=40, tm_sec=0, tm_wday=4, tm_yday=195, tm_isdst=0)

>>>time.localtime(1500000000)

time.struct_time(tm_year=2017, tm_mon=7, tm_mday=14, tm_hour=10, tm_min=40, tm_sec=0, tm_wday=4, tm_yday=195, tm_isdst=0)#結(jié)構(gòu)化時間-->時間戳

#time.mktime(結(jié)構(gòu)化時間)>>>time_tuple = time.localtime(1500000000)

>>>time.mktime(time_tuple)

1500000000.0

#結(jié)構(gòu)化時間-->字符串時間

#time.strftime("格式定義","結(jié)構(gòu)化時間")? 結(jié)構(gòu)化時間參數(shù)若不傳，則顯示當(dāng)前時間>>>time.strftime("%Y-%m-%d %X")'2017-07-24 14:55:36'>>>time.strftime("%Y-%m-%d",time.localtime(1500000000))'2017-07-14'#字符串時間-->結(jié)構(gòu)化時間

#time.strptime(時間字符串,字符串對應(yīng)格式)>>>time.strptime("2017-03-16","%Y-%m-%d")

time.struct_time(tm_year=2017, tm_mon=3, tm_mday=16, tm_hour=0, tm_min=0, tm_sec=0, tm_wday=3, tm_yday=75, tm_isdst=-1)

>>>time.strptime("07/24/2017","%m/%d/%Y")

time.struct_time(tm_year=2017, tm_mon=7, tm_mday=24, tm_hour=0, tm_min=0, tm_sec=0, tm_wday=0, tm_yday=205, tm_isdst=-1)

#結(jié)構(gòu)化時間 --> %a %b %d %H:%M:%S %Y串

#time.asctime(結(jié)構(gòu)化時間) 如果不傳參數(shù)栓霜，直接返回當(dāng)前時間的格式化串>>>time.asctime(time.localtime(1500000000))'Fri Jul 14 10:40:00 2017'>>>time.asctime()'Mon Jul 24 15:18:33 2017'#時間戳 --> %a %b %d %H:%M:%S %Y串

#time.ctime(時間戳)? 如果不傳參數(shù)翠桦，直接返回當(dāng)前時間的格式化串>>>time.ctime()'Mon Jul 24 15:19:07 2017'>>>time.ctime(1500000000)'Fri Jul 14 10:40:00 2017'?

import time

true_time=time.mktime(time.strptime('2017-09-11 08:30:00','%Y-%m-%d %H:%M:%S'))

time_now=time.mktime(time.strptime('2017-09-12 11:00:00','%Y-%m-%d %H:%M:%S'))

dif_time=time_now-true_time

struct_time=time.gmtime(dif_time)print('過去了%d年%d月%d天%d小時%d分鐘%d秒'%(struct_time.tm_year-1970,struct_time.tm_mon-1,

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? struct_time.tm_mday-1,struct_time.tm_hour,

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? struct_time.tm_min,struct_time.tm_sec))

random模塊

>>> import random#隨機小數(shù)>>> random.random()? ? ? # 大于0且小于1之間的小數(shù)0.7664338663654585

>>> random.uniform(1,3) #大于1小于3的小數(shù)1.6270147180533838

#恒富：發(fā)紅包#隨機整數(shù)>>> random.randint(1,5)? # 大于等于1且小于等于5之間的整數(shù)>>> random.randrange(1,10,2) # 大于等于1且小于10之間的奇數(shù)#隨機選擇一個返回>>> random.choice([1,'23',[4,5]])? # #1或者23或者[4,5]

#隨機選擇多個返回，返回的個數(shù)為函數(shù)的第二個參數(shù)>>> random.sample([1,'23',[4,5]],2) # #列表元素任意2個組合[[4, 5], '23']#打亂列表順序>>> item=[1,3,5,7,9]

>>> random.shuffle(item) # 打亂次序>>> item

[5, 1, 3, 7, 9]

>>> random.shuffle(item)

>>> item

[5, 9, 7, 1, 3]

練習(xí)：生成隨機驗證碼

import randomdef v_code():

? ? code = ''? ? for i in range(5):

? ? ? ? num=random.randint(0,9)

? ? ? ? alf=chr(random.randint(65,90))

? ? ? ? add=random.choice([num,alf])

? ? ? ? code="".join([code,str(add)])

? ? return codeprint(v_code())

os模塊

?os模塊是與操作系統(tǒng)交互的一個接口

os.makedirs('dirname1/dirname2')? ? 可生成多層遞歸目錄

os.removedirs('dirname1')? ? 若目錄為空胳蛮，則刪除销凑，并遞歸到上一級目錄，如若也為空仅炊，則刪除斗幼，依此類推

os.mkdir('dirname')? ? 生成單級目錄；相當(dāng)于shell中mkdir dirname

os.rmdir('dirname')? ? 刪除單級空目錄抚垄，若目錄不為空則無法刪除蜕窿，報錯谋逻；相當(dāng)于shell中rmdir dirname

os.listdir('dirname')? ? 列出指定目錄下的所有文件和子目錄，包括隱藏文件桐经，并以列表方式打印

os.remove()? 刪除一個文件

os.rename("oldname","newname")? 重命名文件/目錄

os.stat('path/filename')? 獲取文件/目錄信息

os.system("bash command")? 運行shell命令毁兆，直接顯示

os.popen("bash command).read()? 運行shell命令，獲取執(zhí)行結(jié)果

os.getcwd() 獲取當(dāng)前工作目錄阴挣，即當(dāng)前python腳本工作的目錄路徑

os.chdir("dirname")? 改變當(dāng)前腳本工作目錄气堕；相當(dāng)于shell下cd

os.path

os.path.abspath(path) 返回path規(guī)范化的絕對路徑

os.path.split(path) 將path分割成目錄和文件名二元組返回

os.path.dirname(path) 返回path的目錄。其實就是os.path.split(path)的第一個元素

os.path.basename(path) 返回path最后的文件名畔咧。如何path以／或\結(jié)尾茎芭，那么就會返回空值。即os.path.split(path)的第二個元素

os.path.exists(path)? 如果path存在誓沸，返回True梅桩；如果path不存在，返回False

os.path.isabs(path)? 如果path是絕對路徑拜隧，返回True

os.path.isfile(path)? 如果path是一個存在的文件宿百，返回True。否則返回False

os.path.isdir(path)? 如果path是一個存在的目錄虹蓄，則返回True犀呼。否則返回False

os.path.join(path1[, path2[, ...]])? 將多個路徑組合后返回，第一個絕對路徑之前的參數(shù)將被忽略

os.path.getatime(path)? 返回path所指向的文件或者目錄的最后訪問時間

os.path.getmtime(path)? 返回path所指向的文件或者目錄的最后修改時間

os.path.getsize(path) 返回path的大小

注意：os.stat('path/filename')??獲取文件/目錄信息?的結(jié)構(gòu)說明

stat 結(jié)構(gòu):

st_mode: inode 保護模式

st_ino: inode 節(jié)點號薇组。

st_dev: inode 駐留的設(shè)備。

st_nlink: inode 的鏈接數(shù)坐儿。

st_uid: 所有者的用戶ID律胀。

st_gid: 所有者的組ID。

st_size: 普通文件以字節(jié)為單位的大忻部蟆炭菌；包含等待某些特殊文件的數(shù)據(jù)。

st_atime: 上次訪問的時間逛漫。

st_mtime: 最后一次修改的時間速缨。

st_ctime: 由操作系統(tǒng)報告的"ctime"把敢。在某些系統(tǒng)上（如Unix）是最新的元數(shù)據(jù)更改的時間，在其它系統(tǒng)上（如Windows）是創(chuàng)建時間（詳細信息參見平臺的文檔）。

os.sep? ? 輸出操作系統(tǒng)特定的路徑分隔符晌区，win下為"\\",Linux下為"/"os.linesep? ? 輸出當(dāng)前平臺使用的行終止符，win下為"\r\n",Linux下為"\n"os.pathsep? ? 輸出用于分割文件路徑的字符串 win下為;,Linux下為:

os.name? ? 輸出字符串指示當(dāng)前使用平臺凿可。win->'nt'; Linux->'posix'

sys模塊

sys模塊是與python解釋器交互的一個接口

sys.argv? ? ? ? ? 命令行參數(shù)List状囱，第一個元素是程序本身路徑

sys.exit(n)? ? ? ? 退出程序，正常退出時exit(0),錯誤退出sys.exit(1)

sys.version? ? ? ? 獲取Python解釋程序的版本信息

sys.path? ? ? ? ? 返回模塊的搜索路徑旭蠕，初始化時使用PYTHONPATH環(huán)境變量的值

sys.platform? ? ? 返回操作系統(tǒng)平臺名稱

import systry:

? ? sys.exit(1)except SystemExit as e:

? ? print(e)

序列化模塊

什么叫序列化——將原本的字典停团、列表等內(nèi)容轉(zhuǎn)換成一個字符串的過程就叫做序列化旷坦。

比如，我們在python代碼中計算的一個數(shù)據(jù)需要給另外一段程序使用佑稠，那我們怎么給秒梅？

現(xiàn)在我們能想到的方法就是存在文件里，然后另一個python程序再從文件里讀出來舌胶。

但是我們都知道番电，對于文件來說是沒有字典這個概念的，所以我們只能將數(shù)據(jù)轉(zhuǎn)換成字典放到文件中辆琅。

你一定會問漱办，將字典轉(zhuǎn)換成一個字符串很簡單，就是str(dic)就可以辦到了婉烟，為什么我們還要學(xué)習(xí)序列化模塊呢娩井？

沒錯序列化的過程就是從dic 變成str(dic)的過程。現(xiàn)在你可以通過str(dic)似袁，將一個名為dic的字典轉(zhuǎn)換成一個字符串洞辣，

但是你要怎么把一個字符串轉(zhuǎn)換成字典呢？

聰明的你肯定想到了eval()昙衅，如果我們將一個字符串類型的字典str_dic傳給eval扬霜，就會得到一個返回的字典類型了。

eval()函數(shù)十分強大而涉，但是eval是做什么的著瓶？e官方demo解釋為：將字符串str當(dāng)成有效的表達式來求值并返回計算結(jié)果。

ＢＵＴ啼县！強大的函數(shù)有代價材原。安全性是其最大的缺點。

想象一下季眷，如果我們從文件中讀出的不是一個數(shù)據(jù)結(jié)構(gòu)余蟹，而是一句"刪除文件"類似的破壞性語句，那么后果實在不堪設(shè)設(shè)想子刮。

而使用eval就要擔(dān)這個風(fēng)險威酒。

所以，我們并不推薦用eval方法來進行反序列化操作(將str轉(zhuǎn)換成python中的數(shù)據(jù)結(jié)構(gòu))

序列化的目的

1挺峡、以某種存儲形式使自定義對象持久化葵孤；

2、將對象從一個地方傳遞到另一個地方沙郭。

3佛呻、使程序更具維護性。

json

Json模塊提供了四個功能：dumps病线、dump吓著、loads鲤嫡、load

import json

dic = {'k1':'v1','k2':'v2','k3':'v3'}

str_dic = json.dumps(dic)? #序列化：將一個字典轉(zhuǎn)換成一個字符串print(type(str_dic),str_dic)? #<class 'str'> {"k3": "v3", "k1": "v1", "k2": "v2"}

#注意，json轉(zhuǎn)換完的字符串類型的字典中的字符串是由""表示的dic2 = json.loads(str_dic)? #反序列化：將一個字符串格式的字典轉(zhuǎn)換成一個字典

#注意绑莺，要用json的loads功能處理的字符串類型的字典中的字符串必須由""表示print(type(dic2),dic2)? #<class 'dict'> {'k1': 'v1', 'k2': 'v2', 'k3': 'v3'}list_dic = [1,['a','b','c'],3,{'k1':'v1','k2':'v2'}]

str_dic = json.dumps(list_dic) #也可以處理嵌套的數(shù)據(jù)類型 print(type(str_dic),str_dic) #<class 'str'> [1, ["a", "b", "c"], 3, {"k1": "v1", "k2": "v2"}]list_dic2 = json.loads(str_dic)print(type(list_dic2),list_dic2) #<class 'list'> [1, ['a', 'b', 'c'], 3, {'k1': 'v1', 'k2': 'v2'}]

import json

f = open('json_file','w')

dic = {'k1':'v1','k2':'v2','k3':'v3'}

json.dump(dic,f)? #dump方法接收一個文件句柄暖眼，直接將字典轉(zhuǎn)換成json字符串寫入文件f.close()

f = open('json_file')

dic2 = json.load(f)? #load方法接收一個文件句柄，直接將文件中的json字符串轉(zhuǎn)換成數(shù)據(jù)結(jié)構(gòu)返回f.close()print(type(dic2),dic2)

import json

f = open('file','w')

json.dump({'國籍':'中國'},f)

ret = json.dumps({'國籍':'中國'})

f.write(ret+'\n')

json.dump({'國籍':'美國'},f,ensure_ascii=False)

ret = json.dumps({'國籍':'美國'},ensure_ascii=False)

f.write(ret+'\n')

f.close()

Serialize obj to a JSON formatted str.(字符串表示的json對象) Skipkeys：默認值是False纺裁，如果dict的keys內(nèi)的數(shù)據(jù)不是python的基本類型(str,unicode,int,long,float,bool,None)诫肠，設(shè)置為False時，就會報TypeError的錯誤欺缘。此時設(shè)置成True栋豫，則會跳過這類key ensure_ascii:，當(dāng)它為True的時候谚殊，所有非ASCII碼字符顯示為\uXXXX序列丧鸯，只需在dump時將ensure_ascii設(shè)置為False即可，此時存入json的中文即可正常顯示嫩絮。)

If check_circular is false, then the circular reference check for container types will be skipped and a circular reference will result in an OverflowError (or worse).

If allow_nan is false, then it will be a ValueError to serialize out of range float values (nan, inf, -inf) in strict compliance of the JSON specification, instead of using the JavaScript equivalents (NaN, Infinity, -Infinity). indent：應(yīng)該是一個非負的整型丛肢，如果是0就是頂格分行顯示，如果為空就是一行最緊湊顯示剿干，否則會換行且按照indent的數(shù)值顯示前面的空白分行顯示蜂怎，這樣打印出來的json數(shù)據(jù)也叫pretty-printed json separators：分隔符，實際上是(item_separator, dict_separator)的一個元組置尔，默認的就是(‘,’,’:’)杠步；這表示dictionary內(nèi)keys之間用“,”隔開，而KEY和value之間用“：”隔開撰洗。

default(obj) is a function that should return a serializable version of obj or raise TypeError. The default simply raises TypeError. sort_keys：將數(shù)據(jù)根據(jù)keys的值進行排序篮愉。

To use a custom JSONEncoder subclass (e.g. one that overrides the .default() method to serialize additional types), specify it with the cls kwarg; otherwise JSONEncoder is used.

import json

data = {'username':['李華','二愣子'],'sex':'male','age':16}

json_dic2 = json.dumps(data,sort_keys=True,indent=2,separators=(',',':'),ensure_ascii=False)print(json_dic2)

pickle

json & pickle 模塊

用于序列化的兩個模塊

json，用于字符串 和 python數(shù)據(jù)類型間進行轉(zhuǎn)換

pickle差导，用于python特有的類型 和 python的數(shù)據(jù)類型間進行轉(zhuǎn)換

pickle模塊提供了四個功能：dumps、dump(序列化猪勇，存）设褐、loads（反序列化，讀）泣刹、load ?（不僅可以序列化字典助析，列表...可以把python中任意的數(shù)據(jù)類型序列化）

import pickle

dic = {'k1':'v1','k2':'v2','k3':'v3'}

str_dic = pickle.dumps(dic)print(str_dic)? #一串二進制內(nèi)容dic2 = pickle.loads(str_dic)print(dic2)? ? #字典import time

struct_time? = time.localtime(1000000000)print(struct_time)

f = open('pickle_file','wb')

pickle.dump(struct_time,f)

f.close()

f = open('pickle_file','rb')

struct_time2 = pickle.load(f)print(struct_time2.tm_year)

這時候機智的你又要說了，既然pickle如此強大椅您，為什么還要學(xué)json呢外冀？

這里我們要說明一下，json是一種所有的語言都可以識別的數(shù)據(jù)結(jié)構(gòu)掀泳。

如果我們將一個字典或者序列化成了一個json存在文件里雪隧，那么java代碼或者js代碼也可以拿來用西轩。

但是如果我們用pickle進行序列化，其他語言就不能讀懂這是什么了～

所以脑沿，如果你序列化的內(nèi)容是列表或者字典藕畔，我們非常推薦你使用json模塊

但如果出于某種原因你不得不序列化其他的數(shù)據(jù)類型，而未來你還會用python對這個數(shù)據(jù)進行反序列化的話庄拇，那么就可以使用pickle

re模塊

講正題之前我們先來看一個例子：https://reg.jd.com/reg/person?ReturnUrl=https%3A//www.jd.com/

這是京東的注冊頁面注服，打開頁面我們就看到這些要求輸入個人信息的提示。

假如我們隨意的在手機號碼這一欄輸入一個11111111111措近，它會提示我們格式有誤溶弟。

這個功能是怎么實現(xiàn)的呢？

假如現(xiàn)在你用python寫一段代碼瞭郑，類似：

phone_number = input('please input your phone number ： ')

你怎么判斷這個phone_number是合法的呢辜御？

根據(jù)手機號碼一共11位并且是只以13、14凰浮、15我抠、18開頭的數(shù)字這些特點，我們用python寫了如下代碼：

while True:

? ? phone_number = input('please input your phone number ： ')

? ? if len(phone_number) == 11 \

? ? ? ? ? ? and phone_number.isdigit()\

? ? ? ? ? ? and (phone_number.startswith('13') \

? ? ? ? ? ? or phone_number.startswith('14') \

? ? ? ? ? ? or phone_number.startswith('15') \

? ? ? ? ? ? or phone_number.startswith('18')):

? ? ? ? print('是合法的手機號碼')

? ? else:

? ? ? ? print('不是合法的手機號碼')

這是你的寫法袜茧，現(xiàn)在我要展示一下我的寫法：

import re

phone_number = input('please input your phone number ： ')if re.match('^(13|14|15|18)[0-9]{9}$',phone_number):

? ? ? ? print('是合法的手機號碼')else:

? ? ? ? print('不是合法的手機號碼')

對比上面的兩種寫法菜拓，此時此刻，我要問你你喜歡哪種方法呀笛厦？你肯定還是會說第一種纳鼎，為什么呢？因為第一種不用學(xué)呀裳凸！

但是如果現(xiàn)在有一個文件贱鄙，我讓你從整個文件里匹配出所有的手機號碼。你用python給我寫個試試姨谷？

但是學(xué)了今天的技能之后逗宁，分分鐘幫你搞定！

今天我們要學(xué)習(xí)python里的re模塊和正則表達式梦湘，學(xué)會了這個就可以幫我們解決剛剛的疑問瞎颗。正則表達式不僅在python領(lǐng)域，在整個編程屆都占有舉足輕重的地位捌议。

不管以后你是不是去做python開發(fā)哼拔，只要你是一個程序員就應(yīng)該了解正則表達式的基本使用。如果未來你要在爬蟲領(lǐng)域發(fā)展瓣颅，你就更應(yīng)該好好學(xué)習(xí)這方面的知識倦逐。

但是你要知道，re模塊本質(zhì)上和正則表達式?jīng)]有一毛錢的關(guān)系宫补。re模塊和正則表達式的關(guān)系 類似于 time模塊和時間的關(guān)系

你沒有學(xué)習(xí)python之前檬姥，也不知道有一個time模塊曾我，但是你已經(jīng)認識時間了 12:30就表示中午十二點半（這個時間可好，一般這會兒就該下課了）穿铆。

時間有自己的格式您单，年月日時分秒，12個月荞雏，365天......已經(jīng)成為了一種規(guī)則虐秦。你也早就牢記于心了。time模塊只不過是python提供給我們的可以方便我們操作時間的一個工具而已

正則表達式本身也和python沒有什么關(guān)系凤优，就是匹配字符串內(nèi)容的一種規(guī)則悦陋。

官方定義：正則表達式是對字符串操作的一種邏輯公式，就是用事先定義好的一些特定字符筑辨、及這些特定字符的組合俺驶，組成一個“規(guī)則字符串”，這個“規(guī)則字符串”用來表達對字符串的一種過濾邏輯棍辕。

正則表達式

一說規(guī)則我已經(jīng)知道你很暈了暮现，現(xiàn)在就讓我們先來看一些實際的應(yīng)用。在線測試工具?http://tool.chinaz.com/regex/

首先你要知道的是楚昭，談到正則栖袋，就只和字符串相關(guān)了。在我給你提供的工具中抚太，你輸入的每一個字都是一個字符串塘幅。

其次，如果在一個位置的一個值尿贫，不會出現(xiàn)什么變化电媳，那么是不需要規(guī)則的。

　　比如你要用"1"去匹配"1"庆亡，或者用"2"去匹配"2"匾乓，直接就可以匹配上。這連python的字符串操作都可以輕松做到又谋。

那么在之后我們更多要考慮的是在同一個位置上可以出現(xiàn)的字符的范圍钝尸。

字符組 ： [字符組]

在同一個位置可能出現(xiàn)的各種字符組成了一個字符組，在正則表達式中用[]表示

字符分為很多類搂根，比如數(shù)字、字母铃辖、標(biāo)點等等剩愧。

假如你現(xiàn)在要求一個位置"只能出現(xiàn)一個數(shù)字",那么這個位置上的字符只能是0、1娇斩、2...9這10個數(shù)之一仁卷。

正則待匹配字符匹配

結(jié)果

說明

[0123456789]8True在一個字符組里枚舉合法的所有字符穴翩，字符組里的任意一個字符

和"待匹配字符"相同都視為可以匹配

[0123456789]aFalse由于字符組中沒有"a"字符，所以不能匹配

[0-9]

7

True也可以用-表示范圍,[0-9]就和[0123456789]是一個意思

[a-z]

s

True

同樣的如果要匹配所有的小寫字母锦积，直接用[a-z]就可以表示

[A-Z]

B

True

[A-Z]就表示所有的大寫字母

[0-9a-fA-F]

e

True

可以匹配數(shù)字芒帕，大小寫形式的a～f，用來驗證十六進制字符

字符：

元字符

匹配內(nèi)容

.?匹配除換行符以外的任意字符

\w匹配字母或數(shù)字或下劃線

\s匹配任意的空白符

\d匹配數(shù)字

\n匹配一個換行符

\t匹配一個制表符

\b匹配一個單詞的結(jié)尾

^匹配字符串的開始

$匹配字符串的結(jié)尾

\W匹配非字母或數(shù)字或下劃線

\D匹配非數(shù)字

\S匹配非空白符

a|b匹配字符a或字符b

()匹配括號內(nèi)的表達式丰介，也表示一個組

[...]匹配字符組中的字符

[^...]匹配除了字符組中字符的所有字符

量詞：

量詞用法說明

*重復(fù)零次或更多次

+重復(fù)一次或更多次

?重復(fù)零次或一次

{n}重復(fù)n次

{n,}重復(fù)n次或更多次

{n,m}重復(fù)n到m次

. ^ $

正則待匹配字符匹配

結(jié)果

說明

海.海燕海嬌海東海燕海嬌海東? 匹配所有"海."的字符

^海.海燕海嬌海東海燕只從開頭匹配"海."

? 海.$? 海燕海嬌海東海東只匹配結(jié)尾的"海.$"

* + ? { }

正則待匹配字符匹配

結(jié)果

說明

李.?李杰和李蓮英和李二棍子李杰

李蓮

李二

?表示重復(fù)零次或一次背蟆，即只匹配"李"后面一個任意字符

李.*李杰和李蓮英和李二棍子李杰和李蓮英和李二棍子*表示重復(fù)零次或多次，即匹配"李"后面0或多個任意字符

李.+李杰和李蓮英和李二棍子李杰和李蓮英和李二棍子+表示重復(fù)一次或多次哮幢，即只匹配"李"后面1個或多個任意字符

李.{1,2}李杰和李蓮英和李二棍子李杰和

李蓮英

李二棍

{1,2}匹配1到2次任意字符

?注意：前面的*,+,?等都是貪婪匹配带膀，也就是盡可能匹配，后面加?號使其變成惰性匹配

正則待匹配字符匹配

結(jié)果

說明

李.*?李杰和李蓮英和李二棍子李

李

李

惰性匹配

字符集［］［^］

正則待匹配字符匹配

結(jié)果

說明

李[杰蓮英二棍子]*李杰和李蓮英和李二棍子李杰

李蓮英

李二棍子

表示匹配"李"字后面[杰蓮英二棍子]的字符任意次

李[^和]*李杰和李蓮英和李二棍子李杰

李蓮英

李二棍子

表示匹配一個不是"和"的字符任意次

[\d]456bdha34

5

6

3

表示匹配任意一個數(shù)字橙垢，匹配到4個結(jié)果

[\d]+456bdha3456

3

表示匹配任意個數(shù)字垛叨，匹配到2個結(jié)果

分組 ()與 或 ｜［^］

?身份證號碼是一個長度為15或18個字符的字符串，如果是15位則全部???數(shù)字組成柜某，首位不能為0嗽元；如果是18位，則前17位全部是數(shù)字喂击，末位可能是數(shù)字或x剂癌，下面我們嘗試用正則來表示：

正則待匹配字符匹配

結(jié)果

說明

^[1-9]\d{13,16}[0-9x]$110101198001017032110101198001017032? ?表示可以匹配一個正確的身份證號

^[1-9]\d{13,16}[0-9x]$11010119800101701101011980010170表示也可以匹配這串?dāng)?shù)字，但這并不是一個正確的身份證號碼惭等，它是一個16位的數(shù)字

^[1-9]\d{14}(\d{2}[0-9x])?$1101011980010170False現(xiàn)在不會匹配錯誤的身份證號了

()表示分組珍手，將\d{2}[0-9x]分成一組，就可以整體約束他們出現(xiàn)的次數(shù)為0-1次

^([1-9]\d{16}[0-9x]|[1-9]\d{14})$110105199812067023110105199812067023表示先匹配[1-9]\d{16}[0-9x]如果沒有匹配上就匹配[1-9]\d{14}

轉(zhuǎn)義符 \

在正則表達式中辞做，有很多有特殊意義的是元字符琳要，比如\n和\s等，如果要在正則中匹配正常的"\n"而不是"換行符"就需要對"\"進行轉(zhuǎn)義秤茅，變成'\\'稚补。

在python中，無論是正則表達式框喳，還是待匹配的內(nèi)容课幕，都是以字符串的形式出現(xiàn)的，在字符串中\(zhòng)也有特殊的含義五垮，本身還需要轉(zhuǎn)義乍惊。所以如果匹配一次"\n",字符串中要寫成'\\n'，那么正則里就要寫成"\\\\n",這樣就太麻煩了放仗。這個時候我們就用到了r'\n'這個概念润绎，此時的正則是r'\\n'就可以了。

正則待匹配字符匹配

結(jié)果

說明

\n\n?False因為在正則表達式中\(zhòng)是有特殊意義的字符，所以要匹配\n本身莉撇，用表達式\n無法匹配

\\n\n?True轉(zhuǎn)義\之后變成\\呢蛤，即可匹配

"\\\\n"'\\n'?True如果在python中，字符串中的'\'也需要轉(zhuǎn)義棍郎，所以每一個字符串'\'又需要轉(zhuǎn)義一次

r'\\n'r'\n'?True在字符串之前加r其障，讓整個字符串不轉(zhuǎn)義

貪婪匹配

貪婪匹配：在滿足匹配時，匹配盡可能長的字符串涂佃，默認情況下励翼，采用貪婪匹配

正則待匹配字符匹配

結(jié)果

說明

<.*><script>...<script><script>...<script>默認為貪婪匹配模式，會匹配盡量長的字符串

<.*?>r'\d'?

<script>

<script>

加上巡李？為將貪婪匹配模式轉(zhuǎn)為非貪婪匹配模式抚笔，會匹配盡量短的字符串

幾個常用的非貪婪匹配Pattern

*? 重復(fù)任意次，但盡可能少重復(fù)

+? 重復(fù)1次或更多次侨拦，但盡可能少重復(fù)

?? 重復(fù)0次或1次殊橙，但盡可能少重復(fù)

{n,m}? 重復(fù)n到m次，但盡可能少重復(fù)

{n,}? 重復(fù)n次以上狱从，但盡可能少重復(fù)

.*?的用法

. 是任意字符

* 是取 0 至 無限長度

? 是非貪婪模式膨蛮。

何在一起就是 取盡量少的任意字符，一般不會這么單獨寫季研，他大多用在：

.*?x

就是取前面任意長度的字符敞葛，直到一個x出現(xiàn)

re模塊下的常用方法

import re

ret = re.findall('a', 'eva egon yuan')? # 返回所有滿足匹配條件的結(jié)果,放在列表里print(ret) #結(jié)果 : ['a', 'a']ret = re.search('a', 'eva egon yuan').group()print(ret) #結(jié)果 : 'a'

# 函數(shù)會在字符串內(nèi)查找模式匹配,只到找到第一個匹配然后返回一個包含匹配信息的對象,該對象可以

# 通過調(diào)用group()方法得到匹配的字符串,如果字符串沒有匹配，則返回None与涡。ret = re.match('a', 'abc').group()? # 同search,不過盡在字符串開始處進行匹配print(ret)#結(jié)果 : 'a'ret = re.split('[ab]', 'abcd')? # 先按'a'分割得到''和'bcd',在對''和'bcd'分別按'b'分割print(ret)? # ['', '', 'cd']ret = re.sub('\d', 'H', 'eva3egon4yuan4', 1)#將數(shù)字替換成'H'惹谐，參數(shù)1表示只替換1個print(ret) #evaHegon4yuan4ret = re.subn('\d', 'H', 'eva3egon4yuan4')#將數(shù)字替換成'H'，返回元組(替換的結(jié)果,替換了多少次)print(ret)

obj = re.compile('\d{3}')? #將正則表達式編譯成為一個 正則表達式對象驼卖，規(guī)則要匹配的是3個數(shù)字ret = obj.search('abc123eeee') #正則表達式對象調(diào)用search氨肌，參數(shù)為待匹配的字符串print(ret.group())? #結(jié)果 ： 123import re

ret = re.finditer('\d', 'ds3sy4784a')? #finditer返回一個存放匹配結(jié)果的迭代器print(ret)? # <callable_iterator object at 0x10195f940>print(next(ret).group())? #查看第一個結(jié)果print(next(ret).group())? #查看第二個結(jié)果print([i.group() for i in ret])? #查看剩余的左右結(jié)果

注意：

1 findall的優(yōu)先級查詢：

import re

ret = re.findall('www.(baidu|oldboy).com', 'www.oldboy.com')print(ret)? # ['oldboy']? ? 這是因為findall會優(yōu)先把匹配結(jié)果組里內(nèi)容返回,如果想要匹配結(jié)果,取消權(quán)限即可ret = re.findall('www.(?:baidu|oldboy).com', 'www.oldboy.com')print(ret)? # ['www.oldboy.com']

2 split的優(yōu)先級查詢

ret=re.split("\d+","eva3egon4yuan")print(ret) #結(jié)果 ： ['eva', 'egon', 'yuan']ret=re.split("(\d+)","eva3egon4yuan")print(ret) #結(jié)果 ： ['eva', '3', 'egon', '4', 'yuan']#在匹配部分加上（）之后所切出的結(jié)果是不同的，

#沒有（）的沒有保留所匹配的項酌畜，但是有（）的卻能夠保留了匹配的項怎囚，

#這個在某些需要保留匹配部分的使用過程是非常重要的。

綜合練習(xí)與擴展

1桥胞、匹配標(biāo)簽

import re

ret = re.search("<(?P<tag_name>\w+)>\w+</(?P=tag_name)>","<h1>hello</h1>")#還可以在分組中利用?<name>的形式給分組起名字

#獲取的匹配結(jié)果可以直接用group('名字')拿到對應(yīng)的值print(ret.group('tag_name'))? #結(jié)果 ：h1print(ret.group())? #結(jié)果 ：<h1>hello</h1>ret = re.search(r"<(\w+)>\w+</\1>","<h1>hello</h1>")#如果不給組起名字恳守，也可以用\序號來找到對應(yīng)的組，表示要找的內(nèi)容和前面的組內(nèi)容一致

#獲取的匹配結(jié)果可以直接用group(序號)拿到對應(yīng)的值print(ret.group(1))print(ret.group())? #結(jié)果 ：<h1>hello</h1>

2贩虾、匹配整數(shù)

import re

ret=re.findall(r"\d+","1-2*(60+(-40.35/5)-(-4*3))")print(ret) #['1', '2', '60', '40', '35', '5', '4', '3']ret=re.findall(r"-?\d+\.\d*|(-?\d+)","1-2*(60+(-40.35/5)-(-4*3))")print(ret) #['1', '-2', '60', '', '5', '-4', '3']ret.remove("")print(ret) #['1', '-2', '60', '5', '-4', '3']

3催烘、數(shù)字匹配

1、 匹配一段文本中的每行的郵箱

? ? ? http://blog.csdn.net/make164492212/article/details/51656638

2缎罢、 匹配一段文本中的每行的時間字符串颗圣，比如：‘1990-07-12’喳钟；

? 分別取出1年的12個月（^(0?[1-9]|1[0-2])$）、

? 一個月的31天：^((0?[1-9])|((1|2)[0-9])|30|31)$

3在岂、 匹配qq號。(騰訊QQ號從10000開始)? ［1,9］[0,9]{4,}

4蛮寂、 匹配一個浮點數(shù)蔽午。? ? ? ^(-?\d+)(\.\d+)?$? 或者? -?\d+\.?\d*

5、 匹配漢字酬蹋。? ? ? ? ? ? ^[\u4e00-\u9fa5]{0,}$

6及老、 匹配出所有整數(shù)

4、爬蟲練習(xí)

import requestsimport reimport jsondef getPage(url):

? ? response=requests.get(url)

? ? return response.textdef parsePage(s):

? ? com=re.compile('<div class="item">.*?<div class="pic">.*?<em .*?>(?P<id>\d+).*?<span class="title">(?P<title>.*?)</span>'? ? ? ? ? ? ? ? ? '.*?<span class="rating_num" .*?>(?P<rating_num>.*?)</span>.*?<span>(?P<comment_num>.*?)評價</span>',re.S)

? ? ret=com.finditer(s)

? ? for i in ret:

? ? ? ? yield {

? ? ? ? ? ? "id":i.group("id"),

? ? ? ? ? ? "title":i.group("title"),

? ? ? ? ? ? "rating_num":i.group("rating_num"),

? ? ? ? ? ? "comment_num":i.group("comment_num"),

? ? ? ? }def main(num):

? ? url='https://movie.douban.com/top250?start=%s&filter='%num

? ? response_html=getPage(url)

? ? ret=parsePage(response_html)

? ? print(ret)

? ? f=open("move_info7","a",encoding="utf8")

? ? for obj in ret:

? ? ? ? print(obj)

? ? ? ? data=json.dumps(obj,ensure_ascii=False)

? ? ? ? f.write(data+"\n")if __name__ == '__main__':

? ? count=0

? ? for i in range(10):

? ? ? ? main(count)

? ? ? ? count+=25

import reimport jsonfrom urllib.request import urlopendef getPage(url):

? ? response = urlopen(url)

? ? return response.read().decode('utf-8')def parsePage(s):

? ? com = re.compile(

? ? ? ? '<div class="item">.*?<div class="pic">.*?<em .*?>(?P<id>\d+).*?<span class="title">(?P<title>.*?)</span>'? ? ? ? '.*?<span class="rating_num" .*?>(?P<rating_num>.*?)</span>.*?<span>(?P<comment_num>.*?)評價</span>', re.S)

? ? ret = com.finditer(s)

? ? for i in ret:

? ? ? ? yield {

? ? ? ? ? ? "id": i.group("id"),

? ? ? ? ? ? "title": i.group("title"),

? ? ? ? ? ? "rating_num": i.group("rating_num"),

? ? ? ? ? ? "comment_num": i.group("comment_num"),

? ? ? ? }def main(num):

? ? url = 'https://movie.douban.com/top250?start=%s&filter=' % num

? ? response_html = getPage(url)

? ? ret = parsePage(response_html)

? ? print(ret)

? ? f = open("move_info7", "a", encoding="utf8")

? ? for obj in ret:

? ? ? ? print(obj)

? ? ? ? data = str(obj)

? ? ? ? f.write(data + "\n")

count = 0for i in range(10):

? ? main(count)

? ? count += 25

flags有很多可選值：

re.I(IGNORECASE)忽略大小寫范抓，括號內(nèi)是完整的寫法

re.M(MULTILINE)多行模式骄恶，改變^和$的行為

re.S(DOTALL)點可以匹配任意字符，包括換行符

re.L(LOCALE)做本地化識別的匹配匕垫，表示特殊字符集 \w, \W, \b, \B, \s, \S 依賴于當(dāng)前環(huán)境僧鲁，不推薦使用

re.U(UNICODE) 使用\w \W \s \S \d \D使用取決于unicode定義的字符屬性。在python3中默認使用該flag

re.X(VERBOSE)冗長模式象泵，該模式下pattern字符串可以是多行的寞秃，忽略空白字符，并可以添加注釋

作業(yè)

實現(xiàn)能計算類似

1 - 2 * ( (60-30 +(-40/5) * (9-2*5/3 + 7 /3*99/4*2998 +10 * 568/14 )) - (-4*3)/ (16-3*2) )等類似公式的計算器程序

在線測試工具?http://tool.chinaz.com/regex/

常用模塊二

hashlib模塊

算法介紹

Python的hashlib提供了常見的摘要算法偶惠，如MD5春寿，SHA1等等。

什么是摘要算法呢忽孽？摘要算法又稱哈希算法绑改、散列算法。它通過一個函數(shù)兄一，把任意長度的數(shù)據(jù)轉(zhuǎn)換為一個長度固定的數(shù)據(jù)串（通常用16進制的字符串表示）厘线。

摘要算法就是通過摘要函數(shù)f()對任意長度的數(shù)據(jù)data計算出固定長度的摘要digest，目的是為了發(fā)現(xiàn)原始數(shù)據(jù)是否被人篡改過瘾腰。

摘要算法之所以能指出數(shù)據(jù)是否被篡改過皆的，就是因為摘要函數(shù)是一個單向函數(shù)，計算f(data)很容易蹋盆，但通過digest反推data卻非常困難费薄。而且，對原始數(shù)據(jù)做一個bit的修改栖雾，都會導(dǎo)致計算出的摘要完全不同楞抡。

我們以常見的摘要算法MD5為例，計算出一個字符串的MD5值：

import hashlib

md5 = hashlib.md5()

md5.update('how to use md5 in python hashlib?')print md5.hexdigest()

計算結(jié)果如下：

d26a53750bc40b38b65a520292f69306

如果數(shù)據(jù)量很大析藕，可以分塊多次調(diào)用update()召廷，最后計算的結(jié)果是一樣的：

md5 = hashlib.md5()

md5.update('how to use md5 in ')

md5.update('python hashlib?')print md5.hexdigest()

MD5是最常見的摘要算法，速度很快，生成結(jié)果是固定的128 bit字節(jié)竞慢，通常用一個32位的16進制字符串表示先紫。另一種常見的摘要算法是SHA1，調(diào)用SHA1和調(diào)用MD5完全類似：

import hashlib

sha1 = hashlib.sha1()

sha1.update('how to use sha1 in ')

sha1.update('python hashlib?')print sha1.hexdigest()

SHA1的結(jié)果是160 bit字節(jié)筹煮，通常用一個40位的16進制字符串表示遮精。比SHA1更安全的算法是SHA256和SHA512，不過越安全的算法越慢败潦，而且摘要長度更長本冲。

摘要算法應(yīng)用

任何允許用戶登錄的網(wǎng)站都會存儲用戶登錄的用戶名和口令。如何存儲用戶名和口令呢劫扒？方法是存到數(shù)據(jù)庫表中：

name? ? | password

--------+----------

michael | 123456

bob? ? | abc999

alice? | alice2008

如果以明文保存用戶口令檬洞，如果數(shù)據(jù)庫泄露，所有用戶的口令就落入黑客的手里沟饥。此外添怔，網(wǎng)站運維人員是可以訪問數(shù)據(jù)庫的，也就是能獲取到所有用戶的口令闷板。正確的保存口令的方式是不存儲用戶的明文口令澎灸，而是存儲用戶口令的摘要，比如MD5：

username | password

---------+---------------------------------

michael? | e10adc3949ba59abbe56e057f20f883e

bob? ? ? | 878ef96e86145580c38c87f0410ad153

alice? ? | 99b1c2188db85afee403b1536010c2c9

考慮這么個情況遮晚，很多用戶喜歡用123456性昭，888888，password這些簡單的口令县遣，于是糜颠，黑客可以事先計算出這些常用口令的MD5值，得到一個反推表：

'e10adc3949ba59abbe56e057f20f883e': '123456''21218cca77804d2ba1922c33e0151105': '888888''5f4dcc3b5aa765d61d8327deb882cf99': 'password'

這樣萧求，無需破解其兴，只需要對比數(shù)據(jù)庫的MD5，黑客就獲得了使用常用口令的用戶賬號夸政。

對于用戶來講元旬，當(dāng)然不要使用過于簡單的口令。但是守问，我們能否在程序設(shè)計上對簡單口令加強保護呢匀归？

由于常用口令的MD5值很容易被計算出來，所以耗帕，要確保存儲的用戶口令不是那些已經(jīng)被計算出來的常用口令的MD5穆端，這一方法通過對原始口令加一個復(fù)雜字符串來實現(xiàn)，俗稱“加鹽”：

hashlib.md5("salt".encode("utf8"))

經(jīng)過Salt處理的MD5口令仿便，只要Salt不被黑客知道体啰，即使用戶輸入簡單口令攒巍，也很難通過MD5反推明文口令。

但是如果有兩個用戶都使用了相同的簡單口令比如123456荒勇，在數(shù)據(jù)庫中柒莉，將存儲兩條相同的MD5值，這說明這兩個用戶的口令是一樣的枕屉。有沒有辦法讓使用相同口令的用戶存儲不同的MD5呢常柄？

如果假定用戶無法修改登錄名，就可以通過把登錄名作為Salt的一部分來計算MD5搀擂，從而實現(xiàn)相同口令的用戶也存儲不同的MD5。

摘要算法在很多地方都有廣泛的應(yīng)用卷玉。要注意摘要算法不是加密算法哨颂，不能用于加密（因為無法通過摘要反推明文），只能用于防篡改相种，但是它的單向計算特性決定了可以在不存儲明文口令的情況下驗證用戶口令威恼。

configparser模塊

該模塊適用于配置文件的格式與windows ini文件類似，可以包含一個或多個節(jié)（section）寝并，每個節(jié)可以有多個參數(shù)（鍵=值）箫措。

創(chuàng)建文件

來看一個好多軟件的常見文檔格式如下：

[DEFAULT]

ServerAliveInterval = 45

Compression = yes

CompressionLevel = 9

ForwardX11 = yes

[bitbucket.org]

User = hg

[topsecret.server.com]

Port = 50022

ForwardX11 = no

如果想用python生成一個這樣的文檔怎么做呢？

import configparser

config = configparser.ConfigParser()

config["DEFAULT"] = {'ServerAliveInterval': '45',

? ? ? ? ? ? ? ? ? ? ? 'Compression': 'yes',

? ? ? ? ? ? ? ? ? ? 'CompressionLevel': '9',

? ? ? ? ? ? ? ? ? ? 'ForwardX11':'yes'? ? ? ? ? ? ? ? ? ? }

config['bitbucket.org'] = {'User':'hg'}

config['topsecret.server.com'] = {'Host Port':'50022','ForwardX11':'no'}

with open('example.ini', 'w') as configfile:

? config.write(configfile)

查找文件

import configparser

config = configparser.ConfigParser()#---------------------------查找文件內(nèi)容,基于字典的形式print(config.sections())? ? ? ? #? []config.read('example.ini')print(config.sections())? ? ? ? #? ['bitbucket.org', 'topsecret.server.com']print('bytebong.com' in config) # Falseprint('bitbucket.org' in config) # Trueprint(config['bitbucket.org']["user"])? # hgprint(config['DEFAULT']['Compression']) #yesprint(config['topsecret.server.com']['ForwardX11'])? #noprint(config['bitbucket.org'])? ? ? ? ? #<Section: bitbucket.org>for key in config['bitbucket.org']:? ? # 注意,有default會默認default的鍵? ? print(key)print(config.options('bitbucket.org'))? # 同for循環(huán),找到'bitbucket.org'下所有鍵print(config.items('bitbucket.org'))? ? #找到'bitbucket.org'下所有鍵值對print(config.get('bitbucket.org','compression')) # yes? ? ? get方法Section下的key對應(yīng)的value

增刪改操作

import configparser

config = configparser.ConfigParser()

config.read('example.ini')

config.add_section('yuan')

config.remove_section('bitbucket.org')

config.remove_option('topsecret.server.com',"forwardx11")

config.set('topsecret.server.com','k1','11111')

config.set('yuan','k2','22222')

config.write(open('new2.ini', "w"))

logging模塊

函數(shù)式簡單配置

import logging?

logging.debug('debug message')?

logging.info('info message')?

logging.warning('warning message')?

logging.error('error message')?

logging.critical('critical message')

默認情況下Python的logging模塊將日志打印到了標(biāo)準(zhǔn)輸出中衬潦，且只顯示了大于等于WARNING級別的日志斤蔓，這說明默認的日志級別設(shè)置為WARNING（日志級別等級CRITICAL > ERROR > WARNING > INFO > DEBUG），默認的日志格式為日志級別：Logger名稱：用戶輸出消息镀岛。

靈活配置日志級別弦牡，日志格式，輸出位置:

import logging?

logging.basicConfig(level=logging.DEBUG,?

? ? ? ? ? ? ? ? ? ? format='%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s',?

? ? ? ? ? ? ? ? ? ? datefmt='%a, %d %b %Y %H:%M:%S',?

? ? ? ? ? ? ? ? ? ? filename='/tmp/test.log',?

? ? ? ? ? ? ? ? ? ? filemode='w')?

logging.debug('debug message')?

logging.info('info message')?

logging.warning('warning message')?

logging.error('error message')?

logging.critical('critical message')

配置參數(shù)：

logging.basicConfig()函數(shù)中可通過具體參數(shù)來更改logging模塊默認行為漂羊，可用參數(shù)有：

filename：用指定的文件名創(chuàng)建FiledHandler驾锰，這樣日志會被存儲在指定的文件中。

filemode：文件打開方式走越，在指定了filename時使用這個參數(shù)椭豫，默認值為“a”還可指定為“w”。

format：指定handler使用的日志顯示格式旨指。

datefmt：指定日期時間格式赏酥。

level：設(shè)置rootlogger（后邊會講解具體概念）的日志級別

stream：用指定的stream創(chuàng)建StreamHandler∮倜可以指定輸出到sys.stderr,sys.stdout或者文件(f=open(‘test.log’,’w’))今缚，默認為sys.stderr。若同時列出了filename和stream兩個參數(shù)低淡，則stream參數(shù)會被忽略姓言。

format參數(shù)中可能用到的格式化串：

%(name)s Logger的名字

%(levelno)s 數(shù)字形式的日志級別

%(levelname)s 文本形式的日志級別

%(pathname)s 調(diào)用日志輸出函數(shù)的模塊的完整路徑名瞬项，可能沒有

%(filename)s 調(diào)用日志輸出函數(shù)的模塊的文件名

%(module)s 調(diào)用日志輸出函數(shù)的模塊名

%(funcName)s 調(diào)用日志輸出函數(shù)的函數(shù)名

%(lineno)d 調(diào)用日志輸出函數(shù)的語句所在的代碼行

%(created)f 當(dāng)前時間，用UNIX標(biāo)準(zhǔn)的表示時間的浮 點數(shù)表示

%(relativeCreated)d 輸出日志信息時的何荚，自Logger創(chuàng)建以 來的毫秒數(shù)

%(asctime)s 字符串形式的當(dāng)前時間囱淋。默認格式是 “2003-07-08 16:49:45,896”。逗號后面的是毫秒

%(thread)d 線程ID餐塘⊥滓拢可能沒有

%(threadName)s 線程名〗渖担可能沒有

%(process)d 進程ID税手。可能沒有

%(message)s用戶輸出的消息

logger對象配置

import logging

logger = logging.getLogger()# 創(chuàng)建一個handler需纳，用于寫入日志文件fh = logging.FileHandler('test.log',encoding='utf-8')

# 再創(chuàng)建一個handler芦倒，用于輸出到控制臺

ch = logging.StreamHandler()

formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')

fh.setLevel(logging.DEBUG)

fh.setFormatter(formatter)

ch.setFormatter(formatter)

logger.addHandler(fh) #logger對象可以添加多個fh和ch對象

logger.addHandler(ch)

logger.debug('logger debug message')

logger.info('logger info message')

logger.warning('logger warning message')

logger.error('logger error message')

logger.critical('logger critical message')

logging庫提供了多個組件：Logger、Handler不翩、Filter兵扬、Formatter。Logger對象提供應(yīng)用程序可直接使用的接口口蝠，Handler發(fā)送日志到適當(dāng)?shù)哪康牡仄髦樱現(xiàn)ilter提供了過濾日志信息的方法，F(xiàn)ormatter指定日志顯示格式妙蔗。另外傲霸，可以通過：logger.setLevel(logging.Debug)設(shè)置級別,當(dāng)然，也可以通過

fh.setLevel(logging.Debug)單對文件流設(shè)置某個級別灭必。