ASCII
- 我們知道計(jì)算機(jī)內(nèi)部是以二進(jìn)制存儲(chǔ)信息的鹦筹，每一個(gè)二進(jìn)制位(bit)有0和1兩種狀態(tài)萌腿，因此8個(gè)二進(jìn)制位就可以組合出256種狀態(tài)，稱為一個(gè)字節(jié)。也就是說(shuō)余指，一個(gè)字節(jié)可以用來(lái)表示256種狀態(tài)，每一個(gè)狀態(tài)對(duì)應(yīng)一個(gè)符號(hào)，就是256個(gè)符號(hào)酵镜，從0000_0000到1111_1111
- 上個(gè)世紀(jì)60年代碉碉，美國(guó)制定了一套字符編碼，對(duì)英語(yǔ)字符與二進(jìn)制位之間的關(guān)系淮韭，做了統(tǒng)一的規(guī)定->ASCII碼垢粮，一直沿用至今
- ASCII碼一共規(guī)定了128個(gè)字符的編碼，比如大寫的字母A是65(0100 0001)靠粪，SPACE是32(0010 0000).這128個(gè)符號(hào)(包括32個(gè)不能打印出來(lái)的控制符號(hào)),只占用了一個(gè)字節(jié)的后面7位蜡吧，最前面一位統(tǒng)一規(guī)定為0
非ASCII編碼
- 英語(yǔ)用128個(gè)符號(hào)編碼就夠了，但是用來(lái)表示其它語(yǔ)言占键，128個(gè)符號(hào)是不夠的昔善。比如在法語(yǔ)中，字母上方有注音符號(hào)畔乙，它就無(wú)法用ASCII碼表示君仆。于是，一些歐洲國(guó)家就決定牲距，利用字節(jié)中閑置的最高位編入新的符號(hào)返咱。比如法語(yǔ)中的é的編碼為130(1000 0010),這樣一來(lái)，這些歐洲國(guó)家使用的編碼體系嗅虏，可以表示最多256個(gè)符號(hào)
- 但是洛姑，這里又出現(xiàn)了新的問(wèn)題，不同的國(guó)家有不同的字母皮服，因此哪怕它們都使用256個(gè)符號(hào)的編碼方式楞艾，代表的字母卻不一樣。比如130在法語(yǔ)編碼中代表了é龄广，在希伯來(lái)語(yǔ)編碼中卻代表了字母Gimel (?)硫眯，在俄語(yǔ)編碼中又會(huì)代表另一個(gè)符號(hào)。但是不管怎樣择同，所有這些編碼方式中两入，0--127表示的符號(hào)是一樣的，不一樣的只是128--255的這一段敲才。
- 至于亞洲國(guó)家的文字裹纳，使用的符號(hào)就更多了，漢字就多達(dá)10萬(wàn)左右紧武，一個(gè)字節(jié)只能表示256種符號(hào)是不夠的剃氧，就必須使用多個(gè)字節(jié)表達(dá)一個(gè)符號(hào)，比如簡(jiǎn)體中文常見(jiàn)的編碼方式是GB2312,使用兩個(gè)字節(jié)表示一個(gè)漢字阻星，所以理論上可以表示256*256=65536個(gè)符號(hào)
- 中文編碼的問(wèn)題需要專文討論朋鞍，這篇筆記不涉及。這里只指出，雖然都是用多個(gè)字節(jié)表示一個(gè)符號(hào)滥酥，但是GB類的漢字編碼與后文的 Unicode 和 UTF-8 是毫無(wú)關(guān)系的更舞。
Unicode
- 正如上一節(jié)所說(shuō)，世界上存在著多種編碼方式坎吻，同一個(gè)二進(jìn)制數(shù)字可以被解釋成不同的符號(hào)缆蝉。因此，要想打開(kāi)一個(gè)文本文件瘦真，就必須知道它的編碼方式返奉，否則用錯(cuò)誤的編碼方式解讀，就會(huì)出現(xiàn)亂碼吗氏。
- 可以想象，如果有一種編碼雷逆，將世界上所有的符號(hào)都納入其中弦讽。每一個(gè)符號(hào)都給予一個(gè)獨(dú)一無(wú)二的編碼，那么亂碼問(wèn)題就會(huì)消失膀哲。這就是 Unicode往产，就像它的名字都表示的，這是一種所有符號(hào)的編碼某宪。
- Unicode 當(dāng)然是一個(gè)很大的集合仿村，現(xiàn)在的規(guī)模可以容納100多萬(wàn)個(gè)符號(hào)兴喂。每個(gè)符號(hào)的編碼都不一樣蔼囊，比如，U+0639表示阿拉伯字母Ain衣迷，U+0041表示英語(yǔ)的大寫字母A畏鼓，U+4E25表示漢字嚴(yán)。具體的符號(hào)對(duì)應(yīng)表壶谒，可以查詢unicode.org云矫，或者專門的漢字對(duì)應(yīng)表。
Unicode問(wèn)題
- 需要注意的是汗菜，Unicode只是一個(gè)符號(hào)集让禀，它只規(guī)定了符號(hào)的二進(jìn)制代碼,卻沒(méi)有規(guī)定這個(gè)二進(jìn)制代碼是怎么存儲(chǔ)的
- 比如，漢字嚴(yán)的 Unicode 是十六進(jìn)制數(shù)4E25陨界，轉(zhuǎn)換成二進(jìn)制數(shù)足足有15位（100111000100101）巡揍，也就是說(shuō)，這個(gè)符號(hào)的表示至少需要2個(gè)字節(jié)普碎。表示其他更大的符號(hào)吼肥，可能需要3個(gè)字節(jié)或者4個(gè)字節(jié)，甚至更多。
*** 這里就有兩個(gè)嚴(yán)重的問(wèn)題缀皱，第一個(gè)問(wèn)題是斗这，如何才能區(qū)別 Unicode 和 ASCII ？計(jì)算機(jī)怎么知道三個(gè)字節(jié)表示一個(gè)符號(hào)啤斗，而不是分別表示三個(gè)符號(hào)呢表箭？第二個(gè)問(wèn)題是，我們已經(jīng)知道钮莲，英文字母只用一個(gè)字節(jié)表示就夠了免钻，如果 Unicode 統(tǒng)一規(guī)定，每個(gè)符號(hào)用三個(gè)或四個(gè)字節(jié)表示崔拥，那么每個(gè)英文字母前都必然有二到三個(gè)字節(jié)是0极舔，這對(duì)于存儲(chǔ)來(lái)說(shuō)是極大的浪費(fèi)，文本文件的大小會(huì)因此大出二三倍链瓦，這是無(wú)法接受的** - 它們?cè)斐傻慕Y(jié)果是：1）出現(xiàn)了 Unicode 的多種存儲(chǔ)方式拆魏，也就是說(shuō)有許多種不同的二進(jìn)制格式，可以用來(lái)表示 Unicode慈俯。2）Unicode 在很長(zhǎng)一段時(shí)間內(nèi)無(wú)法推廣渤刃，直到互聯(lián)網(wǎng)的出現(xiàn)。
UTF-8
- 互聯(lián)網(wǎng)的普及贴膘，強(qiáng)烈要求出現(xiàn)一種統(tǒng)一的編碼方式卖子。UTF-8 就是在互聯(lián)網(wǎng)上使用最廣的一種 Unicode 的實(shí)現(xiàn)方式。其他實(shí)現(xiàn)方式還包括 UTF-16（字符用兩個(gè)字節(jié)或四個(gè)字節(jié)表示）和 UTF-32（字符用四個(gè)字節(jié)表示）刑峡，不過(guò)在互聯(lián)網(wǎng)上基本不用洋闽。重復(fù)一遍，這里的關(guān)系是突梦，UTF-8 是 Unicode 的實(shí)現(xiàn)方式之一喊递。
- UTF-8 最大的一個(gè)特點(diǎn)，就是它是一種變長(zhǎng)的編碼方式阳似。它可以使用1~4個(gè)字節(jié)表示一個(gè)符號(hào)骚勘，根據(jù)不同的符號(hào)而變化字節(jié)長(zhǎng)度。
- UTF-8 的編碼規(guī)則很簡(jiǎn)單撮奏，只有二條：
- 對(duì)于單字節(jié)的符號(hào)俏讹，字節(jié)的第一位設(shè)為0，后面7位為這個(gè)符號(hào)的 Unicode 碼畜吊。因此對(duì)于英語(yǔ)字母泽疆，UTF-8 編碼和 ASCII 碼是相同的。
- 對(duì)于n字節(jié)的符號(hào)（n > 1）玲献，第一個(gè)字節(jié)的前n位都設(shè)為1殉疼，第n + 1位設(shè)為0梯浪，后面字節(jié)的前兩位一律設(shè)為10。剩下的沒(méi)有提及的二進(jìn)制位瓢娜，全部為這個(gè)符號(hào)的 Unicode 碼挂洛。
-
下表總結(jié)了編碼規(guī)則，字母x表示可用編碼的位眠砾。
20180306165810158.png - 跟據(jù)上表虏劲，解讀 UTF-8 編碼非常簡(jiǎn)單。如果一個(gè)字節(jié)的第一位是0褒颈，則這個(gè)字節(jié)單獨(dú)就是一個(gè)字符柒巫；如果第一位是1，則連續(xù)有多少個(gè)1谷丸，就表示當(dāng)前字符占用多少個(gè)字節(jié)堡掏。
- 下面，還是以漢字嚴(yán)為例刨疼，演示如何實(shí)現(xiàn) UTF-8 編碼布疼。
- 嚴(yán)的 Unicode 是4E25（100111000100101），根據(jù)上表币狠，可以發(fā)現(xiàn)4E25處在第三行的范圍內(nèi)（0000 0800 - 0000 FFFF），因此嚴(yán)的 UTF-8 編碼需要三個(gè)字節(jié)砾层，即格式是1110xxxx 10xxxxxx 10xxxxxx漩绵。然后，從嚴(yán)的最后一個(gè)二進(jìn)制位開(kāi)始肛炮，依次從后向前填入格式中的x止吐，多出的位補(bǔ)0。這樣就得到了侨糟，嚴(yán)的 UTF-8 編碼是11100100 10111000 10100101碍扔，轉(zhuǎn)換成十六進(jìn)制就是E4B8A5
Little endian 和 Big endian
- 這兩個(gè)古怪的名稱來(lái)自英國(guó)作家斯威夫特的《格列佛游記》。在該書(shū)中秕重，小人國(guó)里爆發(fā)了內(nèi)戰(zhàn)不同，戰(zhàn)爭(zhēng)起因是人們爭(zhēng)論，吃雞蛋時(shí)究竟是從大頭(Big-endian)敲開(kāi)還是從小頭(Little-endian)敲開(kāi)溶耘。為了這件事情二拐，前后爆發(fā)了六次戰(zhàn)爭(zhēng)，一個(gè)皇帝送了命凳兵，另一個(gè)皇帝丟了王位百新。
- 第一個(gè)字節(jié)在前，就是"大頭方式"（Big endian）庐扫，第二個(gè)字節(jié)在前就是"小頭方式"（Little endian）饭望。
- 那么很自然的仗哨，就會(huì)出現(xiàn)一個(gè)問(wèn)題：計(jì)算機(jī)怎么知道某一個(gè)文件到底采用哪一種方式編碼？
- Unicode 規(guī)范定義铅辞，每一個(gè)文件的最前面分別加入一個(gè)表示編碼順序的字符厌漂，這個(gè)字符的名字叫做"零寬度非換行空格"（zero width no-break space），用FEFF表示巷挥。這正好是兩個(gè)字節(jié)桩卵，而且FF比FE大1。
- 如果一個(gè)文本文件的頭兩個(gè)字節(jié)是FE FF倍宾，就表示該文件采用大頭方式雏节；如果頭兩個(gè)字節(jié)是FF FE，就表示該文件采用小頭方式高职。
實(shí)例
屏幕快照 2019-07-26 下午5.13.36.png
- 嚴(yán)字
- Unicode：編碼是四個(gè)字節(jié)FF FE 25 4E钩乍，其中FF FE表明是小頭方式存儲(chǔ)，真正的編碼是4E25怔锌。
- Unicode big endian：編碼是四個(gè)字節(jié)FE FF 4E 25寥粹，其中FE FF表明是大頭方式存儲(chǔ)。
- UTF-8：編碼是六個(gè)字節(jié)EF BB BF E4 B8 A5埃元，前三個(gè)字節(jié)EF BB BF表示這是UTF-8編碼涝涤，后三個(gè)E4B8A5就是嚴(yán)的具體編碼，它的存儲(chǔ)順序與編碼順序是一致的岛杀。
