轉(zhuǎn)自:字符編碼筆記:ASCII,Unicode和UTF-8
1. ASCII碼
我們知道局劲,在計(jì)算機(jī)內(nèi)部勺拣,所有的信息最終都表示為一個二進(jìn)制的字符串。每一個二進(jìn)制位(bit)有0和1兩種狀態(tài)鱼填,因此八個二進(jìn)制位就可以組合出256種狀態(tài)药有,這被稱為一個字節(jié)(byte)。也就是說苹丸,一個字節(jié)一共可以用來表示256種不同的狀態(tài)愤惰,每一個狀態(tài)對應(yīng)一個符號,就是256個符號赘理,從0000000到11111111宦言。
上個世紀(jì)60年代,美國制定了一套字符編碼商模,對英語字符與二進(jìn)制位之間的關(guān)系奠旺,做了統(tǒng)一規(guī)定。這被稱為ASCII碼阻桅,一直沿用至今凉倚。
ASCII碼一共規(guī)定了128個字符的編碼,比如空格"SPACE"是32(二進(jìn)制00100000)嫂沉,大寫的字母A是65(二進(jìn)制01000001)稽寒。這128個符號(包括32個不能打印出來的控制符號),只占用了一個字節(jié)的后面7位趟章,最前面的1位統(tǒng)一規(guī)定為0杏糙。
2、非ASCII編碼
英語用128個符號編碼就夠了蚓土,但是用來表示其他語言宏侍,128個符號是不夠的。比如蜀漆,在法語中谅河,字母上方有注音符號,它就無法用ASCII碼表示。于是绷耍,一些歐洲國家就決定吐限,利用字節(jié)中閑置的最高位編入新的符號。比如褂始,法語中的é的編碼為130(二進(jìn)制10000010)诸典。這樣一來,這些歐洲國家使用的編碼體系崎苗,可以表示最多256個符號狐粱。
但是,這里又出現(xiàn)了新的問題胆数。不同的國家有不同的字母肌蜻,因此,哪怕它們都使用256個符號的編碼方式幅慌,代表的字母卻不一樣宋欺。比如,130在法語編碼中代表了é胰伍,在希伯來語編碼中卻代表了字母Gimel (?),在俄語編碼中又會代表另一個符號酸休。但是不管怎樣骂租,所有這些編碼方式中,0--127表示的符號是一樣的斑司,不一樣的只是128--255的這一段渗饮。
至于亞洲國家的文字,使用的符號就更多了宿刮,漢字就多達(dá)10萬左右互站。一個字節(jié)只能表示256種符號励七,肯定是不夠的耕挨,就必須使用多個字節(jié)表達(dá)一個符號眉菱。比如璃诀,簡體中文常見的編碼方式是GB2312单起,使用兩個字節(jié)表示一個漢字效床,所以理論上最多可以表示256x256=65536個符號棺聊。
中文編碼的問題需要專文討論耀销,這篇筆記不涉及自脯。這里只指出之景,雖然都是用多個字節(jié)表示一個符號,但是GB類的漢字編碼與后文的Unicode和UTF-8是毫無關(guān)系的膏潮。
3.Unicode
正如上一節(jié)所說锻狗,世界上存在著多種編碼方式,同一個二進(jìn)制數(shù)字可以被解釋成不同的符號。因此轻纪,要想打開一個文本文件油额,就必須知道它的編碼方式,否則用錯誤的編碼方式解讀桐磁,就會出現(xiàn)亂碼悔耘。為什么電子郵件常常出現(xiàn)亂碼?就是因?yàn)榘l(fā)信人和收信人使用的編碼方式不一樣我擂。
可以想象衬以,如果有一種編碼,將世界上所有的符號都納入其中校摩。每一個符號都給予一個獨(dú)一無二的編碼看峻,那么亂碼問題就會消失。這就是Unicode衙吩,就像它的名字都表示的互妓,這是一種所有符號的編碼。
Unicode當(dāng)然是一個很大的集合坤塞,現(xiàn)在的規(guī)姆朊悖可以容納100多萬個符號。每個符號的編碼都不一樣摹芙,比如灼狰,U+0639表示阿拉伯字母Ain,U+0041表示英語的大寫字母A浮禾,U+4E25表示漢字"嚴(yán)"交胚。具體的符號對應(yīng)表,可以查詢unicode.org盈电,或者專門的漢字對應(yīng)表蝴簇。
4. Unicode的問題
需要注意的是,Unicode只是一個符號集匆帚,它只規(guī)定了符號的二進(jìn)制代碼熬词,卻沒有規(guī)定這個二進(jìn)制代碼應(yīng)該如何存儲。
比如卷扮,漢字"嚴(yán)"的unicode是十六進(jìn)制數(shù)4E25荡澎,轉(zhuǎn)換成二進(jìn)制數(shù)足足有15位(100111000100101),也就是說這個符號的表示至少需要2個字節(jié)晤锹。表示其他更大的符號摩幔,可能需要3個字節(jié)或者4個字節(jié),甚至更多鞭铆。
這里就有兩個嚴(yán)重的問題或衡,第一個問題是焦影,如何才能區(qū)別Unicode和ASCII?計(jì)算機(jī)怎么知道三個字節(jié)表示一個符號封断,而不是分別表示三個符號呢斯辰?第二個問題是,我們已經(jīng)知道坡疼,英文字母只用一個字節(jié)表示就夠了彬呻,如果Unicode統(tǒng)一規(guī)定,每個符號用三個或四個字節(jié)表示柄瑰,那么每個英文字母前都必然有二到三個字節(jié)是0闸氮,這對于存儲來說是極大的浪費(fèi),文本文件的大小會因此大出二三倍教沾,這是無法接受的蒲跨。
它們造成的結(jié)果是:
- 出現(xiàn)了Unicode的多種存儲方式,也就是說有許多種不同的二進(jìn)制格式授翻,可以用來表示Unicode或悲。
2.Unicode在很長一段時間內(nèi)無法推廣,直到互聯(lián)網(wǎng)的出現(xiàn)堪唐。
5.UTF-8
互聯(lián)網(wǎng)的普及巡语,強(qiáng)烈要求出現(xiàn)一種統(tǒng)一的編碼方式。UTF-8就是在互聯(lián)網(wǎng)上使用最廣的一種Unicode的實(shí)現(xiàn)方式捌臊。其他實(shí)現(xiàn)方式還包括UTF-16(字符用兩個字節(jié)或四個字節(jié)表示)和UTF-32(字符用四個字節(jié)表示),不過在互聯(lián)網(wǎng)上基本不用兜材。
注意: 重復(fù)一遍,這里的關(guān)系是逞力,UTF-8是Unicode的實(shí)現(xiàn)方式之一曙寡。
UTF-8最大的一個特點(diǎn),就是它是一種變長的編碼方式寇荧。它可以使用1~4個字節(jié)表示一個符號举庶,根據(jù)不同的符號而變化字節(jié)長度。
UTF-8的編碼規(guī)則很簡單揩抡,只有二條:
對于單字節(jié)的符號户侥,字節(jié)的第一位設(shè)為0,后面7位為這個符號的unicode碼峦嗤。因此對于英語字母蕊唐,UTF-8編碼和ASCII碼是相同的。
對于n字節(jié)的符號(n>1)烁设,第一個字節(jié)的前n位都設(shè)為1替梨,第n+1位設(shè)為0,后面字節(jié)的前兩位一律設(shè)為10。剩下的沒有提及的二進(jìn)制位副瀑,全部為這個符號的unicode碼弓熏。
下表總結(jié)了編碼規(guī)則,字母x表示可用編碼的位糠睡。
跟據(jù)上表挽鞠,解讀UTF-8編碼非常簡單。如果一個字節(jié)的第一位是0狈孔,則這個字節(jié)單獨(dú)就是一個字符信认;如果第一位是1,則連續(xù)有多少個1除抛,就表示當(dāng)前字符占用多少個字節(jié)狮杨。
下面,還是以漢字"嚴(yán)"為例到忽,演示如何實(shí)現(xiàn)UTF-8編碼橄教。
已知"嚴(yán)"的unicode是4E25(100111000100101),根據(jù)上表喘漏,可以發(fā)現(xiàn)4E25處在第三行的范圍內(nèi)(0000 0800-0000 FFFF)护蝶,因此"嚴(yán)"的UTF-8編碼需要三個字節(jié),即格式是"1110xxxx 10xxxxxx 10xxxxxx"翩迈。然后持灰,從"嚴(yán)"的最后一個二進(jìn)制位開始,依次從后向前填入格式中的x负饲,多出的位補(bǔ)0堤魁。這樣就得到了,"嚴(yán)"的UTF-8編碼是"11100100 10111000 10100101"返十,轉(zhuǎn)換成十六進(jìn)制就是E4B8A5妥泉。
6. Unicode與UTF-8之間的轉(zhuǎn)換
通過上一節(jié)的例子,可以看到"嚴(yán)"的Unicode碼是4E25洞坑,UTF-8編碼是E4B8A5盲链,兩者是不一樣的。它們之間的轉(zhuǎn)換可以通過程序?qū)崿F(xiàn)迟杂。
在Windows平臺下刽沾,有一個最簡單的轉(zhuǎn)化方法,就是使用內(nèi)置的記事本小程序Notepad.exe排拷。打開文件后侧漓,點(diǎn)擊"文件"菜單中的"另存為"命令,會跳出一個對話框攻泼,在最底部有一個"編碼"的下拉條火架。
里面有四個選項(xiàng):ANSI鉴象,Unicode,Unicode big endian 和 UTF-8何鸡。
- ANSI是默認(rèn)的編碼方式纺弊。對于英文文件是ASCII編碼,對于簡體中文文件是GB2312編碼(只針對Windows簡體中文版骡男,如果是繁體中文版會采用Big5碼)淆游。
- Unicode編碼指的是UCS-2編碼方式,即直接用兩個字節(jié)存入字符的Unicode碼隔盛。這個選項(xiàng)用的little endian格式犹菱。
- Unicode big endian編碼與上一個選項(xiàng)相對應(yīng)。我在下一節(jié)會解釋little endian和big endian的涵義吮炕。
- UTF-8編碼腊脱,也就是上一節(jié)談到的編碼方法。
選擇完"編碼方式"后龙亲,點(diǎn)擊"保存"按鈕陕凹,文件的編碼方式就立刻轉(zhuǎn)換好了。
7. Little endian和Big endian
上一節(jié)已經(jīng)提到鳄炉,Unicode碼可以采用UCS-2格式直接存儲杜耙。以漢字"嚴(yán)"為例,Unicode碼是4E25拂盯,需要用兩個字節(jié)存儲佑女,一個字節(jié)是4E,另一個字節(jié)是25谈竿。存儲的時候团驱,4E在前,25在后空凸,就是Big endian方式店茶;25在前,4E在后劫恒,就是Little endian方式。
這兩個古怪的名稱來自英國作家斯威夫特的《格列佛游記》轿腺。在該書中两嘴,小人國里爆發(fā)了內(nèi)戰(zhàn),戰(zhàn)爭起因是人們爭論族壳,吃雞蛋時究竟是從大頭(Big-Endian)敲開還是從小頭(Little-Endian)敲開憔辫。為了這件事情,前后爆發(fā)了六次戰(zhàn)爭仿荆,一個皇帝送了命贰您,另一個皇帝丟了王位坏平。
因此,第一個字節(jié)在前锦亦,就是"大頭方式"(Big endian)舶替,第二個字節(jié)在前就是"小頭方式"(Little endian)。
那么很自然的杠园,就會出現(xiàn)一個問題:計(jì)算機(jī)怎么知道某一個文件到底采用哪一種方式編碼顾瞪?
Unicode規(guī)范中定義,每一個文件的最前面分別加入一個表示編碼順序的字符抛蚁,這個字符的名字叫做"零寬度非換行空格"(ZERO WIDTH NO-BREAK SPACE)陈醒,用FEFF表示。這正好是兩個字節(jié)瞧甩,而且FF比FE大1钉跷。
如果一個文本文件的頭兩個字節(jié)是FE FF,就表示該文件采用大頭方式肚逸;如果頭兩個字節(jié)是FF FE爷辙,就表示該文件采用小頭方式。
8. 實(shí)例
下面吼虎,舉一個實(shí)例犬钢。
打開"記事本"程序Notepad.exe,新建一個文本文件思灰,內(nèi)容就是一個"嚴(yán)"字玷犹,依次采用ANSI,Unicode洒疚,Unicode big endian 和 UTF-8編碼方式保存歹颓。
然后,用文本編輯軟件UltraEdit中的"十六進(jìn)制功能"油湖,觀察該文件的內(nèi)部編碼方式巍扛。
- ANSI:文件的編碼就是兩個字節(jié)"D1 CF",這正是"嚴(yán)"的GB2312編碼乏德,這也暗示GB2312是采用大頭方式存儲的撤奸。
- Unicode:編碼是四個字節(jié)"FF FE 25 4E",其中"FF FE"表明是小頭方式存儲喊括,真正的編碼是4E25胧瓜。
- Unicode big endian:編碼是四個字節(jié)"FE FF 4E 25",其中"FE FF"表明是大頭方式存儲郑什。
- UTF-8:編碼是六個字節(jié)"EF BB BF E4 B8 A5"府喳,前三個字節(jié)"EF BB BF"表示這是UTF-8編碼,后三個"E4B8A5"就是"嚴(yán)"的具體編碼蘑拯,它的存儲順序與編碼順序是一致的钝满。
9. 延伸閱讀
- The Absolute Minimum Every Software Developer Absolutely, Positively Must Know About Unicode and Character Sets(關(guān)于字符集的最基本知識)
- 談?wù)刄nicode編碼
- RFC3629:UTF-8, a transformation format of ISO 10646(如果實(shí)現(xiàn)UTF-8的規(guī)定)