python 里面的編碼和解碼也就是 unicode 和 str 這兩種形式的相互轉(zhuǎn)化。編碼是 unicode -> str羊苟，相反的塑陵，解碼就是 str -> unicode。剩下的問題就是確定何時需要進行編碼或者解碼了.關(guān)于文件開頭的"編碼指示"蜡励，也就是 # -- coding: -- 這個語句令花。Python 默認腳本文件都是 UTF-8 編碼的，當文件中有非 UTF-8 編碼范圍內(nèi)的字符的時候就要使用"編碼指示"來修正. 關(guān)于 sys.defaultencoding凉倚，這個在解碼沒有明確指明解碼方式的時候使用兼都。
比如我有如下代碼：
#! /usr/bin/env python
# -*- coding: utf-8 -*-
s = '中文' # 注意這里的 str 是 str 類型的，而不是 unicode
s.encode('gb18030')
#這句代碼將 s 重新編碼為 gb18030 的格式稽寒，即進行 unicode -> str 的轉(zhuǎn)換扮碧。
因為 s 本身就是 str 類型的，因此 Python 會自動的先將 s 解碼為 unicode 杏糙，然后再編碼成 gb18030慎王。因為解碼是python自動進行的，我們沒有指明解碼方式搔啊，python 就會使用 sys.defaultencoding 指明的方式來解碼柬祠。很多情況下 sys.defaultencoding 是 ANSCII，如果 s 不是這個類型就會出錯负芋。拿上面的情況來說漫蛔，我的 sys.defaultencoding 是 anscii蹄梢，而 s 的編碼方式和文件的編碼方式一致专普，是 utf8 的，所以出錯了:
UnicodeDecodeError: 'ascii' codec can't decode byte 0xe4 in position 0: ordinal not in range(128)
對于這種情況，我們有兩種方法來改正錯誤： 一是明確的指示出 s 的編碼方式
#! /usr/bin/env python
# -*- coding: utf-8 -*-
s = '中文'
s.decode('utf-8').encode('gb18030')
二是更改 sys.defaultencoding 為文件的編碼方式
#! /usr/bin/env python
# -*- coding: utf-8 -*-
import sys
reload(sys) # Python2.5 初始化后會刪除 sys.setdefaultencoding 這個方法位仁，我們需要重新載入
sys.setdefaultencoding('utf-8')
str = '中文'
str.encode('gb18030')
看完之后,改成這樣
print "<p>addr:", form["addr"].value.decode('gb2312').encode('utf-8')
成功通過.
我總結(jié)一下為什么要這么寫的原因:
- 當取回來的數(shù)據(jù)與你當前腳本中聲明的編碼不一致時就要做編碼轉(zhuǎn)換
2.在編碼轉(zhuǎn)換時首先要將該數(shù)據(jù)以自身編碼的格式換成unicode碼,再將這個unicode按utf8編碼
3.為什么我的瀏覽器會傳回gb2312的編碼數(shù)據(jù)到服務(wù)器,這應(yīng)該和客戶端的系統(tǒng)編碼有關(guān)系
我爬蟲時的錯誤：
Traceback (most recent call last):
File "E:/workspace/webCrawler/day04/01???С?.py", line 56, in <module>
getText(url)
File "E:/workspace/webCrawler/day04/01???С?.py", line 41, in getText
fileName = i.decode('utf-8')
File "G:\tools\python2.7.12\lib\encodings\utf_8.py", line 16, in decode
return codecs.utf_8_decode(input, errors, True)
UnicodeEncodeError: 'ascii' codec can't encode characters in position 1-8: ordinal not in range(128)
加入代碼
import sys
reload(sys)
sys.setdefaultencoding( "utf-8" )
之后正常運行
