1 open() 和 codecs.open() 有什么區(qū)別嗎？
首先运授，一提到用 python 讀寫文件估計大家都想到了 open 內置函數(shù)单默，或者 file 這個工廠函數(shù)，這兩個的效果基本一樣格侯。那我們來看一下 open() 函數(shù)：
f=open(file_name,access_mode = 'r',buffering = -1)
-
file_name就是文件的路徑加文件名字，不加路徑則文件會存放在 python 程序的路徑下樟结。一般.代表當前路徑，..代表上層目錄路徑精算。 -
access_mode就是操作文件的模式瓢宦，主要有 r, w, rb，wb 等灰羽，細節(jié)網上一大堆驮履，在此處特意提一下，就是有一種模式是rU廉嚼，提示我們忽略不同的換行符公約玫镐。 -
buffering = -1是用于指示訪問文件所采用的緩存方式。0表示不緩存怠噪；1表示只緩存一行恐似，n代表緩存n行。如果不提供或為負數(shù)傍念，則代表使用系統(tǒng)默認的緩存機制矫夷。
但是這個函數(shù)用什么弊端呢？就是 open 打開文件只能寫入 str 類型,不管字符串是什么編碼方式憋槐。
fr = open('test.txt', 'a')
line1 = "我愛祖國"
fr.write(line1)
這樣是完全可以的双藕。但是有時候爬蟲或者其他方式得到一些數(shù)據寫入文件時會有編碼不統(tǒng)一的問題，所以就一般都統(tǒng)一轉換為unicode阳仔。此時寫入open方式打開的文件就有問題了忧陪。例如
line2 = u'我愛祖國'
fr.write(line2)
就會有如下的錯誤提示：
Traceback (most recent call last):
File "<pyshell#4>", line 1, in <module>
fr.write(line2)
UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-11: ordinal not in range(128)
這時候，我們能做的就是先將 line2 編碼(encode)成 str 類型。也就是說我們爬蟲得到的文本需要先 decode 成 Unicode 類型嘶摊，再 encode 成 str 類型延蟹，才能進行存儲。
這也太麻煩了把更卒。人生苦短哇等孵！這時候，就有了 codecs.open()來救場：
import coimport codecs
fw = codecs.open('test1.txt', 'a', 'utf-8')
fw.write(line2)
不會報錯蹂空，說明寫入成功俯萌。這種方法可以指定一個編碼類型打開文件，使用這個方法打開的文件讀取返回的將是 unicode上枕。寫入時咐熙，如果參數(shù)是 unicode 類型，則使用 open() 時指定的編碼進行編碼后寫入辨萍；如果是 str棋恼，則先根據源代碼文件聲明的字符編碼，解碼成 unicode 后再進行前述操作锈玉。
相對內置的open()來說爪飘，這個方法比較不容易在編碼上出現(xiàn)問題。
2 正則表達式-匹配中英文拉背、字母和數(shù)字
在做項目的過程中师崎，使用正則表達式來匹配一段文本中的特定種類字符，是比較常用的一種方式椅棺，下面是對常用的正則匹配做了一個歸納整理犁罩。
1、匹配中文：[\u4e00-\u9fa5]
2两疚、英文字母：[a-zA-Z]
3床估、數(shù)字：[0-9]
4、匹配中文诱渤，英文字母和數(shù)字及下劃線：^[\u4e00-\u9fa5_a-zA-Z0-9]+$
同時判斷輸入長度：[\u4e00-\u9fa5_a-zA-Z0-9_]{4,10}
5丐巫、
"(?!)"：不能以_開頭
(?!.*?_$)：不能以_結尾
[a-zA-Z0-9\u4e00-\u9fa5]+：至少一個漢字、數(shù)字勺美、字母鞋吉、下劃線
$：與字符串結束的地方匹配
6、只含有漢字励烦、數(shù)字谓着、字母、下劃線坛掠，下劃線位置不限：^[a-zA-Z0-9_\u4e00-\u9fa5]+$
7赊锚、由數(shù)字治筒、26個英文字母或者下劃線組成的字符串：^\w+$
8、2~4個漢字："^[\u4E00-\u9FA5]{2,4}$"
9舷蒲、最長不得超過7個漢字耸袜，或14個字節(jié)(數(shù)字，字母和下劃線)正則表達式：
^[\u4e00-\u9fa5]{1,7}$|^[\dA-Za-z_]{1,14}$
10牲平、匹配雙字節(jié)字符(包括漢字在內)：[^x00-xff]
評注：可以用來計算字符串的長度（一個雙字節(jié)字符長度計2堤框，ASCII字符計1）
11、匹配空白行的正則表達式：ns*r
評注：可以用來刪除空白行
12纵柿、匹配HTML標記的正則表達式：<(S?)[^>]>.?|<.? />
評注：網上流傳的版本太糟糕蜈抓，上面這個也僅僅能匹配部分，對于復雜的嵌套標記依舊無能為力
13昂儒、匹配首尾空白字符的正則表達式：^s|s$
評注：可以用來刪除行首行尾的空白字符(包括空格沟使、制表符、換頁符等等)渊跋，非常有用的表達式
14腊嗡、匹配Email地址的正則表達式：^[a-zA-Z0-9][\w.-][a-zA-Z0-9]@[a-zA-Z0-9][\w.-][a-zA-Z0-9].[a-zA-Z][a-zA-Z.]*[a-zA-Z]$
評注：表單驗證時很實用
15、手機號：^((13[0-9])|(14[0-9])|(15[0-9])|(17[0-9])|(18[0-9]))\d{8}$
16拾酝、身份證：(^\d{15})
17燕少、匹配網址URL的正則表達式：[a-zA-z]+://[^s]*
評注：網上流傳的版本功能很有限，上面這個基本可以滿足需求
18蒿囤、匹配帳號是否合法(字母開頭客们，允許5-16字節(jié)，允許字母數(shù)字下劃線)：^[a-zA-Z][a-zA-Z0-9_]{4,15}$
評注：表單驗證時很實用
19蟋软、匹配國內電話號碼：d{3}-d{8}|d{4}-d{7}
評注：匹配形式如 0511-4405222 或 021-87888822
20镶摘、匹配騰訊QQ號：[1-9][0-9]{4,}
評注：騰訊QQ號從10000開始
21嗽桩、匹配中國郵政編碼：[1-9]d{5}(?!d)
評注：中國郵政編碼為6位數(shù)字
22岳守、匹配身份證：d{15}|d{18}
評注：中國的身份證為15位或18位
23、匹配ip地址：d+.d+.d+.d+
評注：提取ip地址時有用
24碌冶、匹配特定數(shù)字：
^[1-9]d*$ //匹配正整數(shù)
^-[1-9]d*$ //匹配負整數(shù)
^-?[1-9]d*$ //匹配整數(shù)
^[1-9]d*|0$ //匹配非負整數(shù)（正整數(shù) + 0）
^-[1-9]d*|0$ //匹配非正整數(shù)（負整數(shù) + 0）
^[1-9]d*.d*|0.d*[1-9]d*$ //匹配正浮點數(shù)
^-([1-9]d*.d*|0.d*[1-9]d*)$ //匹配負浮點數(shù)
^-?([1-9]d*.d*|0.d*[1-9]d*|0?.0+|0)$ //匹配浮點數(shù)
^[1-9]d*.d*|0.d*[1-9]d*|0?.0+|0$ //匹配非負浮點數(shù)（正浮點數(shù) + 0）
^(-([1-9]d*.d*|0.d*[1-9]d*))|0?.0+|0$ //匹配非正浮點數(shù)（負浮點數(shù) + 0）
評注：處理大量數(shù)據時有用湿痢，具體應用時注意修正
25、匹配特定字符串：
^[A-Za-z]+$ //匹配由26個英文字母組成的字符串
^[A-Z]+$ //匹配由26個英文字母的大寫組成的字符串
^[a-z]+$ //匹配由26個英文字母的小寫組成的字符串
^[A-Za-z0-9]+$ //匹配由數(shù)字和26個英文字母組成的字符串
^w+$ //匹配由數(shù)字扑庞、26個英文字母或者下劃線組成的字符串
26譬重、
在使用RegularExpressionValidator驗證控件時的驗證功能及其驗證表達式介紹如下:
只能輸入數(shù)字：^[0-9]*$
只能輸入n位的數(shù)字：^d{n}$
只能輸入至少n位數(shù)字：^d{n,}$
只能輸入m-n位的數(shù)字：^d{m,n}$
只能輸入零和非零開頭的數(shù)字：^(0|[1-9][0-9]*)$
只能輸入有兩位小數(shù)的正實數(shù)：^[0-9]+(.[0-9]{2})?$
只能輸入有1-3位小數(shù)的正實數(shù)：^[0-9]+(.[0-9]{1,3})?$
只能輸入非零的正整數(shù)：^+?[1-9][0-9]*$
只能輸入非零的負整數(shù)：^-[1-9][0-9]*$
只能輸入長度為3的字符：^.{3}$
只能輸入由26個英文字母組成的字符串：^[A-Za-z]+$
只能輸入由26個大寫英文字母組成的字符串：^[A-Z]+$
只能輸入由26個小寫英文字母組成的字符串：^[a-z]+$
只能輸入由數(shù)字和26個英文字母組成的字符串：^[A-Za-z0-9]+$
只能輸入由數(shù)字、26個英文字母或者下劃線組成的字符串：^w+$
驗證用戶密碼:^[a-zA-Z]w{5,17}$ 正確格式為：以字母開頭罐氨，長度在6-18之間臀规，
只能包含字符、數(shù)字和下劃線栅隐。
驗證是否含有^%&',;=?$等字符：[^%&',;=?$x22]+
只能輸入漢字：^[u4e00-u9fa5],{0,}$
驗證Email地址：^w+[-+.]w+)*@w+([-.]w+)*.w+([-.]w+)*$
驗證InternetURL：^http://([w-]+.)+[w-]+(/[w-./?%&=]*)?$
驗證身份證號（15位或18位數(shù)字）：^d{15}|d{}18$
驗證一年的12個月：^(0?[1-9]|1[0-2])$正確格式為：“01”-“09”和“1”“12”
驗證一個月的31天：^((0?[1-9])|((1|2)[0-9])|30|31)$
正確格式為：“01”“09”和“1”“31”塔嬉。
匹配中文字符的正則表達式： [u4e00-u9fa5]
匹配雙字節(jié)字符(包括漢字在內)：[^x00-xff]
匹配空行的正則表達式：n[s| ]r
匹配HTML標記的正則表達式：/<(.)>.|<(.) />/
匹配首尾空格的正則表達式：(^s)|(s$)
匹配Email地址的正則表達式：w+([-+.]w+)@w+([-.]w+).w+([-.]w+)*
匹配網址URL的正則表達式：http://([w-]+.)+[w-]+(/[w- ./?%&=]*)?
3 Manual Tokenization 手動分詞
這里主要介紹一個我剛學會的函數(shù)str.maketrans(). 之前是string.maketrans()玩徊，不過 python3.4 之后就改為內建函數(shù)bytearray.maketrans()``bytes.maketrans()``str.maketrans().
str.maketrans()功能是創(chuàng)建并返回一個映射表，常與translate()搭配使用谨究。主要有三個參數(shù)恩袱，前兩個參數(shù)需要等長，即將參數(shù) 1 替換為參數(shù) 2 的內容胶哲，第三個參數(shù)是指定刪除哪些內容畔塔。下面的例子是各種英文中的標點符號string.punctuation。
import re
import string
filename = 'metamorphosis_clean.txt'
file = open(filename, 'rt')
text = file.read()
file.close()
# approach 1 : split by whitespace (not great)
words = text.split()
# approach 2 : select words (not great)
words2 = re.split(r'\W+', text)
#print(words2[:100])
# approach 3 : split by whitespace and remove punctuation
# Contractions like “What’s” have become “Whats” but “armour-like” has become “armourlike“.
words3 = text.split()
table = str.maketrans('', '', string.punctuation)
stripped = [w.translate(table) for w in words3]
print(stripped[:100])
