本文包括2部分內(nèi)容：“ASCII问拘，Unicode和UTF-8” 和 “Big Endian和Little Endian”。

第1部分 ASCII慢味，Unicode和UTF-8 介紹

1. ASCII碼

我們知道场梆，計(jì)算機(jī)內(nèi)部，所有信息最終都是一個(gè)二進(jìn)制值纯路。每一個(gè)二進(jìn)制位（bit）有0和1兩種狀態(tài)或油，因此八個(gè)二進(jìn)制位就可以組合出256種狀態(tài)，這被稱(chēng)為一個(gè)字節(jié)（byte）驰唬。也就是說(shuō)顶岸，一個(gè)字節(jié)一共可以用來(lái)表示256種不同的狀態(tài)，每一個(gè)狀態(tài)對(duì)應(yīng)一個(gè)符號(hào)叫编，就是256個(gè)符號(hào)辖佣，從00000000到11111111。

上個(gè)世紀(jì)60年代搓逾，美國(guó)制定了一套字符編碼卷谈，對(duì)英語(yǔ)字符與二進(jìn)制位之間的關(guān)系，做了統(tǒng)一規(guī)定霞篡。這被稱(chēng)為 ASCII 碼世蔗，一直沿用至今端逼，具體可查閱 ASCII碼對(duì)照表。

ASCII 碼一共規(guī)定了128個(gè)字符的編碼污淋，比如空格SPACE是32（二進(jìn)制00100000）顶滩，大寫(xiě)的字母A是65（二進(jìn)制01000001）。這128個(gè)符號(hào)（包括32個(gè)不能打印出來(lái)的控制符號(hào)）寸爆，只占用了一個(gè)字節(jié)的后面7位礁鲁，最前面的一位統(tǒng)一規(guī)定為0。

2.非ASCII編碼

英語(yǔ)用128個(gè)符號(hào)編碼就夠了赁豆，但是用來(lái)表示其他語(yǔ)言仅醇，128個(gè)符號(hào)是不夠的。比如魔种，在法語(yǔ)中着憨，字母上方有注音符號(hào)，它就無(wú)法用 ASCII 碼表示务嫡。于是，一些歐洲國(guó)家就決定漆改，利用字節(jié)中閑置的最高位編入新的符號(hào)心铃。比如，法語(yǔ)中的é的編碼為130（二進(jìn)制10000010）挫剑。這樣一來(lái)去扣，這些歐洲國(guó)家使用的編碼體系，可以表示最多256個(gè)符號(hào)樊破。

但是愉棱，這里又出現(xiàn)了新的問(wèn)題。不同的國(guó)家有不同的字母哲戚，因此奔滑，哪怕它們都使用256個(gè)符號(hào)的編碼方式，代表的字母卻不一樣顺少。比如朋其，130在法語(yǔ)編碼中代表了é，在希伯來(lái)語(yǔ)編碼中卻代表了字母Gimel (?)脆炎，在俄語(yǔ)編碼中又會(huì)代表另一個(gè)符號(hào)梅猿。但是不管怎樣，所有這些編碼方式中秒裕，0--127表示的符號(hào)是一樣的袱蚓，不一樣的只是128--255的這一段。

至于亞洲國(guó)家的文字几蜻，使用的符號(hào)就更多了喇潘，漢字就多達(dá)10萬(wàn)左右体斩。一個(gè)字節(jié)只能表示256種符號(hào)，肯定是不夠的响蓉，就必須使用多個(gè)字節(jié)表達(dá)一個(gè)符號(hào)硕勿。比如，簡(jiǎn)體中文常見(jiàn)的編碼方式是 GB2312枫甲，使用兩個(gè)字節(jié)表示一個(gè)漢字源武，所以理論上最多可以表示 256 x 256 = 65536 個(gè)符號(hào)。

中文編碼的問(wèn)題需要專(zhuān)文討論想幻，這篇筆記不涉及粱栖。這里只指出，雖然都是用多個(gè)字節(jié)表示一個(gè)符號(hào)脏毯，但是GB類(lèi)的漢字編碼與后文的 Unicode 和 UTF-8 是毫無(wú)關(guān)系的闹究。

3.Unicode

正如上一節(jié)所說(shuō)，世界上存在著多種編碼方式食店，同一個(gè)二進(jìn)制數(shù)字可以被解釋成不同的符號(hào)渣淤。因此，要想打開(kāi)一個(gè)文本文件吉嫩，就必須知道它的編碼方式价认，否則用錯(cuò)誤的編碼方式解讀，就會(huì)出現(xiàn)亂碼自娩。為什么電子郵件常常出現(xiàn)亂碼用踩？就是因?yàn)榘l(fā)信人和收信人使用的編碼方式不一樣。

可以想象忙迁，如果有一種編碼脐彩，將世界上所有的符號(hào)都納入其中。每一個(gè)符號(hào)都給予一個(gè)獨(dú)一無(wú)二的編碼姊扔，那么亂碼問(wèn)題就會(huì)消失惠奸。這就是 Unicode，就像它的名字都表示的恰梢，這是一種所有符號(hào)的編碼晨川。

Unicode 當(dāng)然是一個(gè)很大的集合，現(xiàn)在的規(guī)纳静颍可以容納100多萬(wàn)個(gè)符號(hào)共虑。每個(gè)符號(hào)的編碼都不一樣，比如呀页，U+0639表示阿拉伯字母Ain妈拌，U+0041表示英語(yǔ)的大寫(xiě)字母A，U+4E25表示漢字嚴(yán)。具體的符號(hào)對(duì)應(yīng)表尘分，可以查詢(xún)unicode.org猜惋，或者專(zhuān)門(mén)的漢字對(duì)應(yīng)表。

4. Unicode的問(wèn)題

需要注意的是培愁，Unicode 只是一個(gè)符號(hào)集著摔，它只規(guī)定了符號(hào)的二進(jìn)制代碼，卻沒(méi)有規(guī)定這個(gè)二進(jìn)制代碼應(yīng)該如何存儲(chǔ)定续。

比如谍咆，漢字嚴(yán)的 Unicode 是十六進(jìn)制數(shù)4E25，轉(zhuǎn)換成二進(jìn)制數(shù)足足有15位（100111000100101）私股，也就是說(shuō)摹察，這個(gè)符號(hào)的表示至少需要2個(gè)字節(jié)。表示其他更大的符號(hào)倡鲸，可能需要3個(gè)字節(jié)或者4個(gè)字節(jié)供嚎，甚至更多。

這里就有兩個(gè)嚴(yán)重的問(wèn)題：

• 第一個(gè)問(wèn)題是峭状，如何才能區(qū)別 Unicode 和 ASCII 克滴？計(jì)算機(jī)怎么知道三個(gè)字節(jié)表示一個(gè)符號(hào)，而不是分別表示三個(gè)符號(hào)呢优床？
  所以偿曙，為了避免混淆，必須加入一種編碼機(jī)制羔巢，比如目前非常常用的 UTF-8 編碼方式。
• 第二個(gè)問(wèn)題是罩阵，我們已經(jīng)知道竿秆，英文字母只用一個(gè)字節(jié)表示就夠了，如果 Unicode 統(tǒng)一規(guī)定稿壁，每個(gè)符號(hào)用三個(gè)或四個(gè)字節(jié)表示幽钢，那么每個(gè)英文字母前都必然有二到三個(gè)字節(jié)是0，這對(duì)于存儲(chǔ)來(lái)說(shuō)是極大的浪費(fèi)傅是，文本文件的大小會(huì)因此大出二三倍匪燕，這是無(wú)法接受的。

它們?cè)斐傻慕Y(jié)果是：1）出現(xiàn)了 Unicode 的多種存儲(chǔ)方式喧笔，也就是說(shuō)有許多種不同的二進(jìn)制格式帽驯，可以用來(lái)表示 Unicode。2）Unicode 在很長(zhǎng)一段時(shí)間內(nèi)無(wú)法推廣书闸，直到互聯(lián)網(wǎng)的出現(xiàn)尼变。

5.UTF-8

互聯(lián)網(wǎng)的普及，強(qiáng)烈要求出現(xiàn)一種統(tǒng)一的編碼方式浆劲。UTF-8 就是在互聯(lián)網(wǎng)上使用最廣的一種 Unicode 的實(shí)現(xiàn)方式嫌术。其他實(shí)現(xiàn)方式還包括 UTF-16（字符用兩個(gè)字節(jié)或四個(gè)字節(jié)表示）和 UTF-32（字符用四個(gè)字節(jié)表示）哀澈，不過(guò)在互聯(lián)網(wǎng)上基本不用。重復(fù)一遍度气，這里的關(guān)系是割按，UTF-8 是 Unicode 的實(shí)現(xiàn)方式之一。

UTF-8 最大的一個(gè)特點(diǎn)磷籍，就是它是一種變長(zhǎng)的編碼方式适荣。它可以使用1~4個(gè)字節(jié)表示一個(gè)符號(hào)，根據(jù)不同的符號(hào)而變化字節(jié)長(zhǎng)度择示。

UTF-8 的編碼規(guī)則很簡(jiǎn)單束凑，只有二條：

1）對(duì)于單字節(jié)的符號(hào)，字節(jié)的第一位設(shè)為0栅盲，后面7位為這個(gè)符號(hào)的 Unicode 碼汪诉。因此對(duì)于英語(yǔ)字母，UTF-8 編碼和 ASCII 碼是相同的谈秫。

2）對(duì)于n字節(jié)的符號(hào)（n > 1）扒寄，第一個(gè)字節(jié)的前n位都設(shè)為1，第n + 1位設(shè)為0拟烫，后面字節(jié)的前兩位一律設(shè)為10该编。剩下的沒(méi)有提及的二進(jìn)制位，全部為這個(gè)符號(hào)的 Unicode 碼硕淑。

由此可見(jiàn)课竣，Unicode是ASCII碼的超集（符號(hào)集合），而 UTF-8 是給前兩者加了殼之后的編碼方式置媳。

下表總結(jié)了編碼規(guī)則于樟，字母x表示可用編碼的位。

跟據(jù)上表拇囊，解讀 UTF-8 編碼非常簡(jiǎn)單迂曲。如果一個(gè)字節(jié)的第一位是0，則這個(gè)字節(jié)單獨(dú)就是一個(gè)字符寥袭；如果第一位是1路捧，則連續(xù)有多少個(gè)1，就表示當(dāng)前字符占用多少個(gè)字節(jié)传黄。

注意：如上表所示杰扫，每組編碼靠左邊的是高字節(jié)，靠右邊的是低字節(jié)膘掰。區(qū)別于高地址和低地址涉波，后面會(huì)講到大小端的問(wèn)題。

下面，還是以漢字嚴(yán)為例啤覆，演示如何實(shí)現(xiàn) UTF-8 編碼苍日。

嚴(yán)的 Unicode 是4E25（100111000100101），根據(jù)上表窗声，可以發(fā)現(xiàn)4E25處在第三行的范圍內(nèi)（0000 0800 - 0000 FFFF）相恃，因此嚴(yán)的 UTF-8 編碼需要三個(gè)字節(jié)，即格式是1110xxxx 10xxxxxx 10xxxxxx笨觅。然后拦耐，從嚴(yán)的最后一個(gè)二進(jìn)制位開(kāi)始，依次從后向前填入格式中的x见剩，多出的位補(bǔ)0杀糯。這樣就得到了，嚴(yán)的 UTF-8 編碼是11100100 10111000 10100101苍苞，轉(zhuǎn)換成十六進(jìn)制就是E4B8A5固翰。

再次重復(fù)一遍，這里的關(guān)系是：Unicode是所有符號(hào)轉(zhuǎn)換至二進(jìn)制代碼的符號(hào)集合羹呵，UTF-8是Unicode的實(shí)現(xiàn)方式之一骂际，即 UTF-8 = Unicode符號(hào)集+變長(zhǎng)的編碼方式。

6.Unicode 與 UTF-8 之間的轉(zhuǎn)換

通過(guò)上一節(jié)的例子冈欢，可以看到嚴(yán)的 Unicode碼 是4E25歉铝，UTF-8 編碼是E4B8A5，兩者是不一樣的凑耻。它們之間的轉(zhuǎn)換可以通過(guò)程序?qū)崿F(xiàn)太示。

Windows平臺(tái)，有一個(gè)最簡(jiǎn)單的轉(zhuǎn)化方法香浩，就是使用內(nèi)置的記事本小程序notepad.exe类缤。打開(kāi)文件后，點(diǎn)擊文件菜單中的另存為命令弃衍，會(huì)跳出一個(gè)對(duì)話框，在最底部有一個(gè)編碼的下拉條。

里面有四個(gè)選項(xiàng)：ANSI，Unicode意敛，Unicode big endian和UTF-8辽聊。

1）ANSI是默認(rèn)的編碼方式。對(duì)于英文文件是ASCII編碼规哪，對(duì)于簡(jiǎn)體中文文件是GB2312編碼（只針對(duì) Windows 簡(jiǎn)體中文版，如果是繁體中文版會(huì)采用 Big5 碼）。

2）Unicode編碼這里指的是notepad.exe使用的 UCS-2 編碼方式艺糜，即直接用兩個(gè)字節(jié)存入字符的 Unicode 碼，這個(gè)選項(xiàng)用的 little endian 格式。

3）Unicode big endian編碼與上一個(gè)選項(xiàng)相對(duì)應(yīng)破停。我在下一節(jié)會(huì)解釋 little endian 和 big endian 的涵義翅楼。

4）UTF-8編碼，也就是上一節(jié)談到的編碼方法真慢。

選擇完"編碼方式"后毅臊，點(diǎn)擊"保存"按鈕，文件的編碼方式就立刻轉(zhuǎn)換好了黑界。

第2部分 Big endian 和 Little endian介紹

Big endian(大端法)是指低地址存放最高有效字節(jié)（MSB）管嬉，而Little endian(小端法)則是低地址存放最低有效字節(jié)（LSB）。

通過(guò)文字理解可能比較抽象朗鸠，下面用圖像加以說(shuō)明蚯撩。下圖是“0x12345678在兩種字節(jié)序中的存儲(chǔ)順序”：

1. Big Endian

   低地址                                            高地址
   ----------------------------------------->
   +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   |     12     |      34    |     56      |     78    |   
   +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

說(shuō)明：上面是0x12345678對(duì)應(yīng)big endian的存儲(chǔ)方式。

(01) 0x12345678是int整數(shù)烛占，它共有4個(gè)字節(jié)：分別是0x12, 0x34, 0x56, 0x78胎挎；其中，0x12是最高有效字節(jié)扰楼，0x78是最低有效字節(jié)呀癣。int占4個(gè)字節(jié)，這個(gè)是常識(shí)弦赖；0x12是十六進(jìn)制的表示方式项栏，0x12對(duì)應(yīng)的二進(jìn)制是00010010，正好是8位蹬竖，也就是1個(gè)字節(jié)沼沈；因此0x12, 0x34, 0x56, 0x78共是4個(gè)字節(jié)。

(02) big endian是將最高有效字節(jié)存儲(chǔ)在低地址中币厕，因?yàn)榫褪?x12(最高有效地址)列另，存在低地址；那么旦装，從低往高地址依次存放0x12 --> 0x34 --> 0x56 --> 0x78页衙。也就是上面圖像中的存儲(chǔ)方式。

2. Little Endian

   低地址                                            高地址
   ----------------------------------------->
   +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   |     78     |      56    |     34      |     12    |   
   +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

說(shuō)明：上面是0x12345678對(duì)應(yīng)little endian的存儲(chǔ)方式阴绢。

(01) 0x12345678是int整數(shù)店乐，它共有4個(gè)字節(jié)：分別是0x12, 0x34, 0x56, 0x78；其中呻袭，0x12是最高有效字節(jié)眨八，0x78是最低有效字節(jié)。

(02) little endian是將最低有效字節(jié)存儲(chǔ)在低地址中左电，因?yàn)榫褪?x78(最低有效地址)廉侧，存在低地址页响；從低往高地址依次存放0x78 --> 0x56 --> 0x34 --> 0x12。也就是上面圖像中的存儲(chǔ)方式段誊。

3. 網(wǎng)絡(luò)字節(jié)序闰蚕，是大端序

在網(wǎng)絡(luò)傳輸中，TCP/UDP/IP 協(xié)議都采用大端字節(jié)序枕扫。因?yàn)榕汶纾琓CP/UDP/IP 等網(wǎng)絡(luò)協(xié)議規(guī)定接收到得第一個(gè)字節(jié)是高字節(jié)，存放到低地址烟瞧，所以發(fā)送時(shí)會(huì)首先去低地址取數(shù)據(jù)的高字節(jié)诗鸭，同樣接收端先接收到的字節(jié)為數(shù)據(jù)的高位。 在不同的操作系統(tǒng)平臺(tái)中参滴，內(nèi)存采用的字節(jié)序可能不同强岸，x86和一般的OS（如windows，F(xiàn)reeBSD,Linux）使用的是小端模式砾赔。但比如Mac OS是大端模式蝌箍。在不同平臺(tái)之間進(jìn)行網(wǎng)絡(luò)傳輸時(shí)，需要進(jìn)行特殊的轉(zhuǎn)換暴心，詳見(jiàn)

網(wǎng)絡(luò)通信之 字節(jié)序轉(zhuǎn)換原理與網(wǎng)絡(luò)字節(jié)序妓盲、大端和小端模式

4. big endian 和 little endian判斷方式

下面，我們通過(guò)示例程序來(lái)判斷CPU是大端存儲(chǔ)還是小端存儲(chǔ)专普。
源碼如下(endian.c)：

void main() {
    int i = 0x12345678;
    char* pc = (char*)&i;
    if (*pc == 0x12) {
        printf("Big Endian\n");
    } else if (*pc == 0x78) {
        printf("Little Endian\n");
    }   
}

在 ubuntu12.04 系統(tǒng)下悯衬，運(yùn)行的結(jié)果是“Little Endian”；
在 iOS 系統(tǒng)下檀夹，運(yùn)行的結(jié)果也是“Little Endian”筋粗。

Java驗(yàn)證實(shí)例
在java中，通過(guò) ByteOrder.nativeOrder() 方法可以判斷當(dāng)前平臺(tái)采用的時(shí)大端字節(jié)序還是小端字節(jié)序炸渡，代碼如下：

public static ByteOrder nativeOrder() {
    return Bits.byteOrder();
}

static ByteOrder byteOrder() {
    if (byteOrder == null)
        throw new Error("Unknown byte order");
    return byteOrder;
}

static {
    long a = unsafe.allocateMemory(8);
    try {
        unsafe.putLong(a, 0x0102030405060708L);
        byte b = unsafe.getByte(a);
        switch (b) {
        case 0x01: byteOrder = ByteOrder.BIG_ENDIAN;     break;
        case 0x08: byteOrder = ByteOrder.LITTLE_ENDIAN;  break;
        default:
            assert false;
            byteOrder = null;
        }
    } finally {
        unsafe.freeMemory(a);
    }
}

主要實(shí)現(xiàn)為static靜態(tài)方法娜亿，首先為long分配了8個(gè)字節(jié)內(nèi)存，然后為long分配了值蚌堵，之后拿出long的第一個(gè)字節(jié)买决，如果為數(shù)據(jù)的高位，那么平臺(tái)采用的是大端字節(jié)序吼畏，如果為數(shù)據(jù)的低位督赤，那么平臺(tái)采用的時(shí)小端字節(jié)序。

Win系統(tǒng)驗(yàn)證實(shí)例

下面宫仗，舉一個(gè)實(shí)例够挂。

打開(kāi)"記事本"程序notepad.exe旁仿，新建一個(gè)文本文件藕夫，內(nèi)容就是一個(gè)嚴(yán)字孽糖，依次采用ANSI，Unicode毅贮，Unicode big endian和UTF-8編碼方式保存办悟。

然后，用文本編輯軟件UltraEdit 中的"十六進(jìn)制功能"滩褥，觀察該文件的內(nèi)部編碼方式病蛉。

1）ANSI：文件的編碼就是兩個(gè)字節(jié)D1 CF，這正是嚴(yán)的 GB2312 編碼瑰煎，這也暗示 GB2312 是采用大頭方式存儲(chǔ)的铺然。

2）Unicode：編碼是四個(gè)字節(jié)FF FE 25 4E，其中FF FE表明是小頭方式存儲(chǔ)酒甸，真正的編碼是4E25魄健。

3）Unicode big endian：編碼是四個(gè)字節(jié)FE FF 4E 25，其中FE FF表明是大頭方式存儲(chǔ)插勤。

4）UTF-8：編碼是六個(gè)字節(jié)EF BB BF E4 B8 A5沽瘦，前三個(gè)字節(jié)EF BB BF表示這是UTF-8編碼，后三個(gè)E4B8A5就是嚴(yán)的具體編碼农尖，它的存儲(chǔ)順序與編碼順序是一致的析恋。

參考文獻(xiàn)：

1. 字符編碼筆記：ASCII，Unicode和UTF-8
2. 網(wǎng)絡(luò)通信之 字節(jié)序轉(zhuǎn)換原理與網(wǎng)絡(luò)字節(jié)序盛卡、大端和小端模式