鏈接：www.cnblogs.com/Xjng/p/5093905.html

開發(fā)經(jīng)常會遇到各種字符串編碼的問題族购，例如報錯SyntaxError: Non-ASCII character 'ascii' codec can't encode characters in position 0-2: ordinal not in range(128)布蔗，又例如顯示亂碼萨驶。

由于之前不知道編碼的原理济欢，遇到這些情況，就只能不斷的用各種編碼decode和encode

今天整理一個python中的各種編碼問題的原因和解決方法跌前，以后遇到編碼問題雀瓢，就不會像莽頭蒼蠅一樣，到處亂撞了酌住。

下面的python環(huán)境都是在2.7店归，聽說在3.X中已經(jīng)沒有編碼的問題了，因為所有的字符串都是unicode了赂韵，之后裝個3.X試一下娱节。

如果不知道什么是decode和encode挠蛉，建議先看一下：這里（http://www.cnblogs.com/Xjng/p/3809781.html）

一祭示、encoding的作用

1. 在python文件中，如果有中文，就一定要在文件的第一行標(biāo)記使用的編碼類型质涛，例如 #encoding=utf-8 ,就是使用utf-8的編碼稠歉，這個編碼有什么作用呢？會改變什么呢汇陆？

demo1.py

# encoding=utf-8
test='測試test'
print type(test)
print repr(test)

輸出：

<type 'str'>
'\xe6\xb5\x8b\xe8\xaf\x95test'

我們通過print把一個變量輸出到終端的時候怒炸，IDE或者系統(tǒng)一般都會幫我們的輸出作轉(zhuǎn)換，例如中文字符會轉(zhuǎn)成中文毡代，所以就看不到變量的原始內(nèi)容阅羹。

repr函數(shù)可以看這個變量的給python看的形式，也就是看到這個變量的原始內(nèi)容

從上面的輸出可以看到test變量的str類型教寂，它的編碼是utf-8的（怎么知道是utf-8捏鱼，請看第三部分），也就是的encoding類型

如果我們把encoding改為gbk

demo2.py

# encoding=gbk
test='測試test'
print type(test)
print repr(test)

輸出

<type 'str'>
'\xb2\xe2\xca\xd4test'

這樣test的編碼類型就變?yōu)間bk了酪耕。

所以這個encoding會決定在這個py文件中定義的字符串變量的編碼方式导梆。

而如果一個變量是從其他py文件導(dǎo)入，或者從數(shù)據(jù)庫迂烁，redis等讀取出來的話看尼，它的編碼又是怎樣的？

a.py

# encoding=utf-8
test='測試test'

b.py

# encoding=gbk
from a import test
print repr(test)

輸出

'\xe6\xb5\x8b\xe8\xaf\x95test'

a.py中定義test變量盟步，a.py的編碼方式是utf-8,b.py的編碼方式是gbk,b從a中導(dǎo)入test藏斩，結(jié)果顯示test依然為utf-8編碼，也就是a.py的編碼

所以encoding只會決定本py文件的編碼方式址芯，不會影響導(dǎo)入的或者從其他地方讀取的變量的編碼方式

二灾茁、常見報錯codec can't encode characters的原因

python的程序經(jīng)常會報錯 codec can't encode characters 或 codec can't decode characters

在python中定義一個字符串，

import sys
print sys.getdefaultencoding() # 輸出 ascii
unicode_test=u'測試test'
print repr(str(unicode_test))

上面的代碼會報錯

'ascii' codec can't encode characters in position 0-1: ordinal not in range(128)

除了str方法外谷炸，如果操作兩個都有中文的字符串北专，也會報錯，但是只有其中一個有中文旬陡，卻不會報錯

unicode_test = u'測試test%s{0}'
 
print '%stest' % unicode_test  # 不會報錯
print '%s測試' % unicode_test  #會報錯
 
print unicode_test % 'test'  #不會報錯
print unicode_test % '測試'  #會報錯
 
print unicode_test.format('test') #不會報錯
print unicode_test.format('測試') #會報錯
 
print unicode_test.split('test')  #不會報錯
print unicode_test.split('測試')  #報錯
 
print unicode_test + 'test'  #不會報錯
print unicode_test + '測試'  #會報錯

為什么會這樣拓颓？

這原因下面再解答，這里先列出這個報錯的解決方法：

解決方法是：把系統(tǒng)的默認(rèn)編碼設(shè)置為utf-8

import sys
reload(sys)
sys.setdefaultencoding('utf-8')
print sys.getdefaultencoding()
unicode_test=u'測試test'

demo3.py

# encoding=utf-8
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
unicode_test=u'測試test'
utf8_test='測試test'
gbk_test=unicode_test.encode('gbk')
 
#合并unicode和utf-8
merge=unicode_test+utf8_test
print type(merge)
print repr(merge)
 
#合并unicode和gbk
merge=unicode_test+gbk_test
print type(merge)
print repr(merge)
print merge
 
#合并utf-8和gbk
merge=utf8_test+gbk_test
print type(merge)
print repr(merge)
print merge

這里定義三個分別是unicode描孟，utf-8和gbk編碼的字符串驶睦，unicode_test,utf8_test和gbk_test

1.合并unicode和utf-8的時候，輸出：

<type 'unicode'>
u'\u6d4b\u8bd5test\u6d4b\u8bd5test'

合并的結(jié)果的編碼是unicode編碼匿醒。

2.合并unicode和gbk场航，會報錯：

'utf8' codec can't decode byte 0xb2 in position 0: invalid start byte

所以我們可以推測：

在python對兩個字符串進(jìn)行操作的時候，如果這兩個字符串有一個是unicode編碼廉羔，有一個是非unicode編碼溉痢，python會將非unicode編碼的字符串decode成unicode編碼，再進(jìn)行字符串操作

例如合并字符串的操作可以寫成以下的function：

def merge_str(str1, str2):
    if isinstance(str1, unicode) and not isinstance(str2, unicode):
        str2 = str2.decode(sys.getdefaultencoding())
    elif not isinstance(str1, unicode) and isinstance(str2, unicode):
        str1 = str1.decode(sys.getdefaultencoding())
    return str1 + str2

PS:sys.getdefaultencoding()的初始值是ascii

所以，codec can't encode（decode） characters這個報錯是encode或decode這兩個方法產(chǎn)生的孩饼，而這個方法的參數(shù)是sys.getdefaultencoding()髓削。如果用ascii編碼對帶有中文的字符串進(jìn)行解碼，就會報錯镀娶。所以修改系統(tǒng)的默認(rèn)編碼可以避免這個報錯立膛。

當(dāng)執(zhí)行 str 操作時，python會執(zhí)行unicode_test.encode(sys.getdefaultencoding()) 梯码，所以也會報錯宝泵。

3.#合并utf-8和gbk的時候卻不會報錯，python會直接把兩個字符串合并轩娶，不會有decode或encode的操作鲁猩，但是輸出的時候，部分字符串會亂碼罢坝。

demo4.py

# encoding=gbk
import sys
 
reload(sys)
sys.setdefaultencoding('utf-8')
unicode_test = u'測試test'
utf8_test = unicode_test.encode('utf-8')
gbk_test = unicode_test.encode('gbk')
 
merge = utf8_test + gbk_test
print type(merge)
print repr(merge)
print merge

這里文件的encoding是gbk廓握，sys.getdefaultencoding()設(shè)置為utf-8，結(jié)果是：

<type 'str'>
'\xe6\xb5\x8b\xe8\xaf\x95test\xb2\xe2\xca\xd4test'
測試test????test

即gbk的部分亂碼了嘁酿。所以輸出的時候會按照sys.getdefaultencoding()的編碼來解碼留晚。

三户辫、怎么判斷一個字符串（string）的編碼方式

1.沒有辦法準(zhǔn)確地判斷一個字符串的編碼方式陌凳，例如gbk的“\aa”代表甲配椭，utf-8的“\aa”代表乙，如果給定“\aa”怎么判斷是哪種編碼游桩？它既可以是gbk也可以是utf-8

2.我們能做的是粗略地判斷一個字符串的編碼方式牲迫，因為上面的例如的情況是很少的，更多的情況是gbk中的’\aa’代表甲借卧，utf-8中是亂碼盹憎，例如?，這樣我們就能判斷’\aa’是gbk編碼铐刘，因為如果用utf-8編碼去解碼的結(jié)果是沒有意義的

3.而我們經(jīng)常遇到的編碼其實主要的就只有三種：utf-8陪每，gbk，unicode

unicode一般是 \u 帶頭的镰吵，然后后面跟四位數(shù)字或字符串檩禾，例如 \u6d4b\u8bd5 ，一個\u對應(yīng)一個漢字

utf-8一般是 \x 帶頭的疤祭，后面跟兩位字母或數(shù)字盼产，例如 \xe6\xb5\x8b\xe8\xaf\x95\xe5\x95\x8a ，三個 \x 代表一個漢字

gbk一般是 \x 帶頭的勺馆，后面跟兩位字母或數(shù)字戏售，例如 \xb2\xe2\xca\xd4\xb0\xa1啦辐，兩個個 \x 代表一個漢字

4.使用chardet模塊來判斷

import chardet
raw = u'我是一只小小鳥'
print chardet.detect(raw.encode('utf-8'))
print chardet.detect(raw.encode('gbk'))

輸出：

{'confidence': 0.99, 'encoding': 'utf-8'}
{'confidence': 0.99, 'encoding': 'GB2312'}

chardet模塊可以計算這個字符串是某個編碼的概率，基本對于99%的應(yīng)用場景蜈项，這個模塊都夠用了。

四续挟、string_escape和unicode_escape

1. string_escape

在str中紧卒，\x是保留字符，表示后面的兩位字符表示一個字符單元（暫且這么叫诗祸，不知道對不對）跑芳，例如'\xe6'，一般三個字符單元表示一個中文字符

所以在定義變量時直颅，a='\xe6\x88\x91',是代表定義了一個中文字符“我”博个，但是有時候，我們不希望a這個變量代表中文字符功偿，而是代表3*4=12個英文字符盆佣，可以使用encode('string_escape')來轉(zhuǎn)換：

'\xe6\x88\x91'.encode('string_escape')='\\xe6\\x88\\x91'

decode就是反過來。

轉(zhuǎn)換前后的類型都是string械荷。

還有一個現(xiàn)象共耍，定義a='\x',a='\x0'都是會報錯ValueError: invalid \x escape的，而定義a='\a',即反斜杠后面不是跟x吨瞎，都會沒問題痹兜，而定義a='\x00'，即x后面跟兩個字符颤诀，也是沒問題的字旭。

2. unicode_escape

同理在unicode中，\u是保留字符崖叫，表示后面的四個字符表示一個中文字符遗淳，例如b=u'u6211'，表示“我:”心傀，同理我們希望b變量洲脂，表示6個英文字符，而不是一個中文字符剧包，就可以使用encode(‘unicode-escape’)來轉(zhuǎn)換：

u'u6211'.encode('unicode-escape')='\u6211'

注意encode前是unicode恐锦，轉(zhuǎn)換后是string。

在unicode中疆液，\u是保留字符一铅，但是在string中，就不是了堕油，所以只有一個反斜杠潘飘，而不是兩個肮之。

decode就是反過來。

同理卜录，a='\u'也是會報錯的

3. 例子

#正常的str和unicode字符
str_char='我'
uni_char=u'我'
print repr(str_char) # '\xe6\x88\x91'
print repr(uni_char) #  u'\u6211'
 
# decode('unicode-escape')
s1='\u6211'
s2=s1.decode('unicode-escape')
print repr(s1) # '\\u6211'
print repr(s2) # u'\u6211'
 
# encode('unicode-escape')
s1=u'\u6211'
s2=s1.encode('unicode-escape')
print repr(s1) # u'\u6211'
print repr(s2) # '\\u6211'
 
# decode("string_escape")
s1='\\xe6\\x88\\x91'
s2=s1.decode('string_escape')
print repr(s1) # '\\xe6\\x88\\x91'
print repr(s2) # '\xe6\x88\x91'
 
# encode("string_escape")
s1='\xe6\x88\x91'
s2=s1.encode('string_escape')
print repr(s1) # '\xe6\x88\x91'
print repr(s2) # '\\xe6\\x88\\x91'

4. 應(yīng)用

內(nèi)容是unicode戈擒，但是type是str，就可以使用decode("unicode_escape")轉(zhuǎn)換為內(nèi)容和type都是unicode

s1='\u6211'
s2=s1.decode('unicode-escape')

內(nèi)容是str艰毒，但是type是unicode,就可以使用encode("unicode_escape").decode("string_escape")轉(zhuǎn)換為內(nèi)容和type都是str

s1=u'\xe6\x88\x91'
s2=s1.encode('unicode_escape').decode("string_escape")