級(jí)別：中級(jí)
摘要：本文介紹了字符與編碼的發(fā)展過(guò)程在抛，相關(guān)概念的正確理解钟病。舉例說(shuō)明了一些實(shí)際應(yīng)用中，編碼的實(shí)現(xiàn)方法刚梭。然后肠阱，本文講述了通常對(duì)字符與編碼的幾種誤解，由于這些誤解而導(dǎo)致亂碼產(chǎn)生的原因朴读，以及消除亂碼的辦法屹徘。本文的內(nèi)容涵蓋了“中文問(wèn)題”，“亂碼問(wèn)題”衅金。
掌握編碼問(wèn)題的關(guān)鍵是正確地理解相關(guān)概念噪伊，編碼所涉及的技術(shù)其實(shí)是很簡(jiǎn)單的。因此氮唯，閱讀本文時(shí)需要慢讀多想鉴吹，多思考。
引言
“字符與編碼”是一個(gè)被經(jīng)常討論的話(huà)題惩琉。即使這樣豆励，時(shí)常出現(xiàn)的亂碼仍然困擾著大家。雖然我們有很多的辦法可以用來(lái)消除亂碼琳水，但我們并不一定理解這些辦法的內(nèi)在原理肆糕。而有的亂碼產(chǎn)生的原因，實(shí)際上由于底層代碼本身有問(wèn)題所導(dǎo)致的在孝。因此诚啃，不僅是初學(xué)者會(huì)對(duì)字符編碼感到模糊，有的底層開(kāi)發(fā)人員同樣對(duì)字符編碼缺乏準(zhǔn)確的理解私沮。
1. 編碼問(wèn)題的由來(lái)始赎，相關(guān)概念的理解
1.1 字符與編碼的發(fā)展
從計(jì)算機(jī)對(duì)多國(guó)語(yǔ)言的支持角度看，大致可以分為三個(gè)階段：
字符串在內(nèi)存中的存放方法：
在 ASCII 階段，單字節(jié)字符串使用一個(gè)字節(jié)存放一個(gè)字符（SBCS）造垛。比如魔招，"Bob123" 在內(nèi)存中為：
42 6F 62 31 32 33 00
B o b 1 2 3 \0
在使用 ANSI 編碼支持多種語(yǔ)言階段，每個(gè)字符使用一個(gè)字節(jié)或多個(gè)字節(jié)來(lái)表示（MBCS）五辽，因此办斑，這種方式存放的字符也被稱(chēng)作多字節(jié)字符。比如杆逗，"中文123" 在中文 Windows 95 內(nèi)存中為7個(gè)字節(jié)乡翅，每個(gè)漢字占2個(gè)字節(jié)，每個(gè)英文和數(shù)字字符占1個(gè)字節(jié)：
D6 D0 CE C4 31 32 33 00
中 文 1 2 3 \0
在 UNICODE 被采用之后罪郊，計(jì)算機(jī)存放字符串時(shí)蠕蚜，改為存放每個(gè)字符在 UNICODE 字符集中的序號(hào)。目前計(jì)算機(jī)一般使用 2 個(gè)字節(jié)（16 位）來(lái)存放一個(gè)序號(hào)（DBCS）悔橄，因此靶累，這種方式存放的字符也被稱(chēng)作寬字節(jié)字符。比如癣疟，字符串 "中文123" 在 Windows 2000 下挣柬，內(nèi)存中實(shí)際存放的是 5 個(gè)序號(hào)：
中 文 1 2 3 \0
一共占 10 個(gè)字節(jié)。
1.2 字符争舞，字節(jié)凛忿，字符串
理解編碼的關(guān)鍵，是要把字符的概念和字節(jié)的概念理解準(zhǔn)確竞川。這兩個(gè)概念容易混淆店溢，我們?cè)诖俗鲆幌聟^(qū)分：
由于不同 ANSI 編碼所規(guī)定的標(biāo)準(zhǔn)是不相同的，因此委乌，對(duì)于一個(gè)給定的多字節(jié)字符串床牧，我們必須知道它采用的是哪一種編碼規(guī)則，才能夠知道它包含了哪些“字符”遭贸。而對(duì)于 UNICODE 字符串來(lái)說(shuō)戈咳，不管在什么環(huán)境下，它所代表的“字符”內(nèi)容總是不變的壕吹。
1.3 字符集與編碼
各個(gè)國(guó)家和地區(qū)所制定的不同 ANSI 編碼標(biāo)準(zhǔn)中著蛙，都只規(guī)定了各自語(yǔ)言所需的“字符”。比如：漢字標(biāo)準(zhǔn)（GB2312）中沒(méi)有規(guī)定韓國(guó)語(yǔ)字符怎樣存儲(chǔ)耳贬。這些 ANSI 編碼標(biāo)準(zhǔn)所規(guī)定的內(nèi)容包含兩層含義：
- 使用哪些字符踏堡。也就是說(shuō)哪些漢字，字母和符號(hào)會(huì)被收入標(biāo)準(zhǔn)中咒劲。所包含“字符”的集合就叫做“字符集”顷蟆。
- 規(guī)定每個(gè)“字符”分別用一個(gè)字節(jié)還是多個(gè)字節(jié)存儲(chǔ)诫隅，用哪些字節(jié)來(lái)存儲(chǔ)，這個(gè)規(guī)定就叫做“編碼”帐偎。
各個(gè)國(guó)家和地區(qū)在制定編碼標(biāo)準(zhǔn)的時(shí)候逐纬，“字符的集合”和“編碼”一般都是同時(shí)制定的。因此削樊，平常我們所說(shuō)的“字符集”豁生，比如：GB2312, GBK, JIS 等，除了有“字符的集合”這層含義外漫贞，同時(shí)也包含了“編碼”的含義沛硅。
“UNICODE 字符集”包含了各種語(yǔ)言中使用到的所有“字符”。用來(lái)給 UNICODE 字符集編碼的標(biāo)準(zhǔn)有很多種绕辖，比如：UTF-8, UTF-7, UTF-16, UnicodeLittle, UnicodeBig 等。
1.4 常用的編碼簡(jiǎn)介
簡(jiǎn)單介紹一下常用的編碼規(guī)則擂红，為后邊的章節(jié)做一個(gè)準(zhǔn)備仪际。在這里，我們根據(jù)編碼規(guī)則的特點(diǎn)昵骤，把所有的編碼分成三類(lèi)：
我們實(shí)際上沒(méi)有必要去深究每一種編碼具體把某一個(gè)字符編碼成了哪幾個(gè)字節(jié)树碱，我們只需要知道“編碼”的概念就是把“字符”轉(zhuǎn)化成“字節(jié)”就可以了。對(duì)于“UNICODE 編碼”变秦，由于它們是可以通過(guò)計(jì)算得到的成榜，因此，在特殊的場(chǎng)合蹦玫，我們可以去了解某一種“UNICODE 編碼”是怎樣的規(guī)則赎婚。
2. 字符與編碼在程序中的實(shí)現(xiàn)
2.1 程序中的字符與字節(jié)
在 C++ 和 Java 中，用來(lái)代表“字符”和“字節(jié)”的數(shù)據(jù)類(lèi)型樱溉，以及進(jìn)行編碼的方法：
以上需要注意幾點(diǎn)：
Java 中的 char 代表一個(gè)“UNICODE 字符（寬字節(jié)字符）”挣输，而 C++ 中的 char 代表一個(gè)字節(jié)。
MultiByteToWideChar()和 WideCharToMultiByte() 是 Windows API 函數(shù)福贞。
2.2 C++ 中相關(guān)實(shí)現(xiàn)方法
聲明一段字符串常量：
// ANSI 字符串撩嚼，內(nèi)容長(zhǎng)度 7 字節(jié)
char sz[20] = "中文123";
// UNICODE 字符串，內(nèi)容長(zhǎng)度 5 個(gè) wchar_t（10 字節(jié)）
wchar_t wsz[20] = L"\x4E2D\x6587\x0031\x0032\x0033";
UNICODE 字符串的 I/O 操作挖帘，字符與字節(jié)的轉(zhuǎn)換操作：
// 運(yùn)行時(shí)設(shè)定當(dāng)前 ANSI 編碼完丽，VC 格式
setlocale(LC_ALL, ".936");
// GCC 中格式
setlocale(LC_ALL, "zh_CN.GBK");
// Visual C++ 中使用小寫(xiě) %s，按照 setlocale 指定編碼輸出到文件
// GCC 中使用大寫(xiě) %S
fwprintf(fp, L"%s\n", wsz);
// 把 UNICODE 字符串按照 setlocale 指定的編碼轉(zhuǎn)換成字節(jié)
wcstombs(sz, wsz, 20);
// 把字節(jié)串按照 setlocale 指定的編碼轉(zhuǎn)換成 UNICODE 字符串
mbstowcs(wsz, sz, 20);
在 Visual C++ 中拇舀，UNICODE 字符串常量有更簡(jiǎn)單的表示方法逻族。如果源程序的編碼與當(dāng)前默認(rèn) ANSI 編碼不符，則需要使用 #pragma setlocale你稚，告訴編譯器源程序使用的編碼：
// 如果源程序的編碼與當(dāng)前默認(rèn) ANSI 編碼不一致瓷耙，
// 則需要此行朱躺，編譯時(shí)用來(lái)指明當(dāng)前源程序使用的編碼
#pragma setlocale(".936")
// UNICODE 字符串常量，內(nèi)容長(zhǎng)度 10 字節(jié)
wchar_t wsz[20] = L"中文123";
以上需要注意 #pragma setlocale 與 setlocale(LC_ALL, "")的作用是不同的搁痛，#pragma setlocale 在編譯時(shí)起作用长搀，setlocale() 在運(yùn)行時(shí)起作用。
2.3 Java 中相關(guān)實(shí)現(xiàn)方法
字符串類(lèi) String 中的內(nèi)容是 UNICODE 字符串：
// Java 代碼鸡典，直接寫(xiě)中文
String string = "中文123";
// 得到長(zhǎng)度為 5源请，因?yàn)槭?5 個(gè)字符
System.out.println(string.length());
字符串 I/O 操作，字符與字節(jié)轉(zhuǎn)換操作彻况。在 Java 包 java.io.* 中谁尸，以“Stream”結(jié)尾的類(lèi)一般是用來(lái)操作“字節(jié)串”的類(lèi)，以“Reader”纽甘，“Writer”結(jié)尾的類(lèi)一般是用來(lái)操作“字符串”的類(lèi)良蛮。
// 字符串與字節(jié)串間相互轉(zhuǎn)化
// 按照 GB2312 得到字節(jié)（得到多字節(jié)字符串）
byte [] bytes = string.getBytes("GB2312");
// 從字節(jié)按照 GB2312 得到 UNICODE 字符串
string = new String(bytes, "GB2312");
// 要將 String 按照某種編碼寫(xiě)入文本文件，有兩種方法：
// 第一種辦法：用 Stream 類(lèi)寫(xiě)入已經(jīng)按照指定編碼轉(zhuǎn)化好的字節(jié)串
OutputStream os = new FileOutputStream("1.txt");
os.write(bytes);
os.close();
// 第二種辦法：構(gòu)造指定編碼的 Writer 來(lái)寫(xiě)入字符串
Writer ow = new OutputStreamWriter(new FileOutputStream("2.txt"), "GB2312");
ow.write(string);
ow.close();
/* 最后得到的 1.txt 和 2.txt 都是 7 個(gè)字節(jié) */
如果 java 的源程序編碼與當(dāng)前默認(rèn) ANSI 編碼不符悍赢，則在編譯的時(shí)候决瞳，需要指明一下源程序的編碼。比如：
E:\>javac -encoding BIG5 Hello.java
以上需要注意區(qū)分源程序的編碼與 I/O 操作的編碼左权，前者是在編譯時(shí)起作用皮胡，后者是在運(yùn)行時(shí)起作用。
3. 幾種誤解赏迟，以及亂碼產(chǎn)生的原因和解決辦法
3.1 容易產(chǎn)生的誤解
對(duì)編碼的誤解
第一種誤解屡贺，往往是導(dǎo)致亂碼產(chǎn)生的原因。第二種誤解锌杀，往往導(dǎo)致本來(lái)容易糾正的亂碼問(wèn)題變得更復(fù)雜甩栈。
在這里，我們可以看到抛丽，其中所講的“誤解一”谤职，即采用每“一個(gè)字節(jié)”就是“一個(gè)字符”的轉(zhuǎn)化方法，實(shí)際上也就等同于采用 iso-8859-1 進(jìn)行轉(zhuǎn)化亿鲜。因此允蜈，我們常常使用 bytes = string.getBytes("iso-8859-1") 來(lái)進(jìn)行逆向操作，得到原始的“字節(jié)串”蒿柳。然后再使用正確的 ANSI 編碼饶套，比如 string = new String(bytes, "GB2312")，來(lái)得到正確的“UNICODE 字符串”垒探。
3.2 非 UNICODE 程序在不同語(yǔ)言環(huán)境間移植時(shí)的亂碼
非 UNICODE 程序中的字符串妓蛮，都是以某種 ANSI 編碼形式存在的。如果程序運(yùn)行時(shí)的語(yǔ)言環(huán)境與開(kāi)發(fā)時(shí)的語(yǔ)言環(huán)境不同圾叼，將會(huì)導(dǎo)致 ANSI 字符串的顯示失敗蛤克。
比如捺癞，在日文環(huán)境下開(kāi)發(fā)的非 UNICODE 的日文程序界面，拿到中文環(huán)境下運(yùn)行時(shí)构挤，界面上將顯示亂碼髓介。如果這個(gè)日文程序界面改為采用 UNICODE 來(lái)記錄字符串，那么當(dāng)在中文環(huán)境下運(yùn)行時(shí)筋现，界面上將可以顯示正常的日文唐础。
由于客觀原因，有時(shí)候我們必須在中文操作系統(tǒng)下運(yùn)行非 UNICODE 的日文軟件矾飞，這時(shí)我們可以采用一些工具一膨，比如，南極星洒沦，AppLocale 等豹绪，暫時(shí)的模擬不同的語(yǔ)言環(huán)境。
3.3 網(wǎng)頁(yè)提交字符串
當(dāng)頁(yè)面中的表單提交字符串時(shí)申眼，首先把字符串按照當(dāng)前頁(yè)面的編碼森篷，轉(zhuǎn)化成字節(jié)串。然后再將每個(gè)字節(jié)轉(zhuǎn)化成 "%XX" 的格式提交到 Web 服務(wù)器豺型。比如，一個(gè)編碼為 GB2312 的頁(yè)面买乃，提交 "中" 這個(gè)字符串時(shí)姻氨，提交給服務(wù)器的內(nèi)容為 "%D6%D0"。
在服務(wù)器端剪验，Web 服務(wù)器把收到的 "%D6%D0" 轉(zhuǎn)化成 [0xD6, 0xD0] 兩個(gè)字節(jié)肴焊，然后再根據(jù) GB2312 編碼規(guī)則得到 "中" 字。
在 Tomcat 服務(wù)器中功戚，request.getParameter() 得到亂碼時(shí)娶眷，常常是因?yàn)榍懊嫣岬降摹罢`解一”造成的。默認(rèn)情況下啸臀，當(dāng)提交 "%D6%D0" 給 Tomcat 服務(wù)器時(shí)届宠，request.getParameter() 將返回 [0x00D6, 0x00D0] 兩個(gè) UNICODE 字符，而不是返回一個(gè) "中" 字符乘粒。因此豌注，我們需要使用 bytes = string.getBytes("iso-8859-1") 得到原始的字節(jié)串，再用 string = new String(bytes, "GB2312") 重新得到正確的字符串 "中"灯萍。
3.4 從數(shù)據(jù)庫(kù)讀取字符串
通過(guò)數(shù)據(jù)庫(kù)客戶(hù)端（比如 ODBC 或 JDBC）從數(shù)據(jù)庫(kù)服務(wù)器中讀取字符串時(shí)轧铁，客戶(hù)端需要從服務(wù)器獲知所使用的 ANSI 編碼。當(dāng)數(shù)據(jù)庫(kù)服務(wù)器發(fā)送字節(jié)流給客戶(hù)端時(shí)旦棉，客戶(hù)端負(fù)責(zé)將字節(jié)流按照正確的編碼轉(zhuǎn)化成 UNICODE 字符串齿风。
如果從數(shù)據(jù)庫(kù)讀取字符串時(shí)得到亂碼药薯，而數(shù)據(jù)庫(kù)中存放的數(shù)據(jù)又是正確的，那么往往還是因?yàn)榍懊嫣岬降摹罢`解一”造成的救斑。解決的辦法還是通過(guò) string = new String( string.getBytes("iso-8859-1"), "GB2312") 的方法童本，重新得到原始的字節(jié)串，再重新使用正確的編碼轉(zhuǎn)化成字符串系谐。
3.5 電子郵件中的字符串
當(dāng)一段 Text 或者 HTML 通過(guò)電子郵件傳送時(shí)巾陕，發(fā)送的內(nèi)容首先通過(guò)一種指定的字符編碼轉(zhuǎn)化成“字節(jié)串”，然后再把“字節(jié)串”通過(guò)一種指定的傳輸編碼（Content-Transfer-Encoding）進(jìn)行轉(zhuǎn)化得到另一串“字節(jié)串”纪他。比如鄙煤，打開(kāi)一封電子郵件源代碼，可以看到類(lèi)似的內(nèi)容：
Content-Type: text/plain;
charset="gb2312"
Content-Transfer-Encoding: base64
sbG+qcrQuqO17cf4yee74bGjz9W7+b3wudzA7dbQ0MQNCg0KvPKzxqO6uqO17cnnsaPW0NDEDQoNCg==
最常用的 Content-Transfer-Encoding 有 Base64 和 Quoted-Printable 兩種茶袒。在對(duì)二進(jìn)制文件或者中文文本進(jìn)行轉(zhuǎn)化時(shí)梯刚，Base64 得到的“字節(jié)串”比 Quoted-Printable 更短。在對(duì)英文文本進(jìn)行轉(zhuǎn)化時(shí)薪寓，Quoted-Printable 得到的“字節(jié)串”比 Base64 更短亡资。
郵件的標(biāo)題，用了一種更簡(jiǎn)短的格式來(lái)標(biāo)注“字符編碼”和“傳輸編碼”向叉。比如锥腻，標(biāo)題內(nèi)容為 "中"，則在郵件源代碼中表示為：
// 正確的標(biāo)題格式
Subject: =?GB2312?B?1tA=?=
其中母谎，
- 第一個(gè)“=?”與“?”中間的部分指定了字符編碼瘦黑，在這個(gè)例子中指定的是 GB2312。
- “?”與“?”中間的“B”代表 Base64奇唤。如果是“Q”則代表 Quoted-Printable幸斥。
- 最后“?”與“?=”之間的部分，就是經(jīng)過(guò) GB2312 轉(zhuǎn)化成字節(jié)串咬扇，再經(jīng)過(guò) Base64 轉(zhuǎn)化后的標(biāo)題內(nèi)容甲葬。
如果“傳輸編碼”改為 Quoted-Printable，同樣懈贺，如果標(biāo)題內(nèi)容為 "中"：
// 正確的標(biāo)題格式
Subject: =?GB2312?Q?=D6=D0?=
如果閱讀郵件時(shí)出現(xiàn)亂碼经窖，一般是因?yàn)椤白址幋a”或“傳輸編碼”指定有誤，或者是沒(méi)有指定梭灿。比如钠至，有的發(fā)郵件組件在發(fā)送郵件時(shí)，標(biāo)題 "中"：
// 錯(cuò)誤的標(biāo)題格式
Subject: =?ISO-8859-1?Q?=D6=D0?=
這樣的表示胎源，實(shí)際上是明確指明了標(biāo)題為 [0x00D6, 0x00D0]棉钧，即 "?D"，而不是 "中"涕蚤。
4. 幾種錯(cuò)誤理解的糾正
誤解：“ISO-8859-1 是國(guó)際編碼宪卿？”
非也的诵。iso-8859-1 只是單字節(jié)字符集中最簡(jiǎn)單的一種，也就是“字節(jié)編號(hào)”與“UNICODE 字符編號(hào)”一致的那種編碼規(guī)則佑钾。當(dāng)我們要把一個(gè)“字節(jié)串”轉(zhuǎn)化成“字符串”西疤，而又不知道它是哪一種 ANSI 編碼時(shí)，先暫時(shí)地把“每一個(gè)字節(jié)”作為“一個(gè)字符”進(jìn)行轉(zhuǎn)化休溶，不會(huì)造成信息丟失代赁。然后再使用 bytes = string.getBytes("iso-8859-1") 的方法可恢復(fù)到原始的字節(jié)串。
誤解：“Java 中兽掰，怎樣知道某個(gè)字符串的內(nèi)碼芭碍？”
Java 中，字符串類(lèi) java.lang.String 處理的是 UNICODE 字符串孽尽，不是 ANSI 字符串窖壕。我們只需要把字符串作為“抽象的符號(hào)的串”來(lái)看待。因此不存在字符串的內(nèi)碼的問(wèn)題杉女。
