今天中午，我突然想搞清楚Unicode和UTF-8之間的關系舶衬，于是就開始在網上查資料埠通。
結果，這個問題比我想象的復雜逛犹，從午飯后一直看到晚上9點端辱，才算初步搞清楚梁剔。
下面就是我的筆記，主要用來整理自己的思路舞蔽。但是荣病，我盡量試圖寫得通俗易懂，希望能對其他朋友有用喷鸽。畢竟众雷，字符編碼是計算機技術的基石，想要熟練使用計算機做祝，就必須懂得一點字符編碼的知識砾省。
1. ASCII碼
我們知道，在計算機內部混槐，所有的信息最終都表示為一個二進制的字符串编兄。每一個二進制位（bit）有0和1兩種狀態(tài)，因此八個二進制位就可以組合出256種狀態(tài)声登，這被稱為一個字節(jié)（byte）狠鸳。也就是說，一個字節(jié)一共可以用來表示256種不同的狀態(tài)悯嗓，每一個狀態(tài)對應一個符號件舵，就是256個符號，從0000000到11111111脯厨。
上個世紀60年代铅祸，美國制定了一套字符編碼，對英語字符與二進制位之間的關系合武，做了統(tǒng)一規(guī)定临梗。這被稱為ASCII碼，一直沿用至今稼跳。
ASCII碼一共規(guī)定了128個字符的編碼盟庞，比如空格"SPACE"是32（二進制00100000），大寫的字母A是65（二進制01000001）汤善。這128個符號（包括32個不能打印出來的控制符號）什猖，只占用了一個字節(jié)的后面7位，最前面的1位統(tǒng)一規(guī)定為0红淡。
2卸伞、非ASCII編碼
英語用128個符號編碼就夠了，但是用來表示其他語言锉屈，128個符號是不夠的荤傲。比如，在法語中颈渊，字母上方有注音符號遂黍，它就無法用ASCII碼表示终佛。于是，一些歐洲國家就決定雾家，利用字節(jié)中閑置的最高位編入新的符號铃彰。比如，法語中的é的編碼為130（二進制10000010）芯咧。這樣一來牙捉，這些歐洲國家使用的編碼體系，可以表示最多256個符號敬飒。
但是邪铲，這里又出現了新的問題。不同的國家有不同的字母无拗，因此带到，哪怕它們都使用256個符號的編碼方式，代表的字母卻不一樣英染。比如揽惹，130在法語編碼中代表了é，在希伯來語編碼中卻代表了字母Gimel (?)四康，在俄語編碼中又會代表另一個符號搪搏。但是不管怎樣，所有這些編碼方式中闪金，0--127表示的符號是一樣的疯溺，不一樣的只是128--255的這一段。
至于亞洲國家的文字毕泌，使用的符號就更多了喝检，漢字就多達10萬左右嗅辣。一個字節(jié)只能表示256種符號撼泛，肯定是不夠的，就必須使用多個字節(jié)表達一個符號澡谭。比如愿题，簡體中文常見的編碼方式是GB2312，使用兩個字節(jié)表示一個漢字蛙奖，所以理論上最多可以表示256x256=65536個符號潘酗。
中文編碼的問題需要專文討論，這篇筆記不涉及雁仲。這里只指出仔夺，雖然都是用多個字節(jié)表示一個符號，但是GB類的漢字編碼與后文的Unicode和UTF-8是毫無關系的攒砖。
3.Unicode
正如上一節(jié)所說缸兔，世界上存在著多種編碼方式日裙，同一個二進制數字可以被解釋成不同的符號。因此惰蜜，要想打開一個文本文件昂拂，就必須知道它的編碼方式，否則用錯誤的編碼方式解讀抛猖，就會出現亂碼格侯。為什么電子郵件常常出現亂碼？就是因為發(fā)信人和收信人使用的編碼方式不一樣财著。
可以想象联四，如果有一種編碼，將世界上所有的符號都納入其中瓢宦。每一個符號都給予一個獨一無二的編碼碎连，那么亂碼問題就會消失。這就是Unicode驮履，就像它的名字都表示的鱼辙，這是一種所有符號的編碼。
Unicode當然是一個很大的集合玫镐，現在的規(guī)牡瓜罚可以容納100多萬個符號。每個符號的編碼都不一樣恐似，比如杜跷，U+0639表示阿拉伯字母Ain，U+0041表示英語的大寫字母A矫夷，U+4E25表示漢字"嚴"葛闷。具體的符號對應表，可以查詢unicode.org双藕，或者專門的漢字對應表淑趾。
4. Unicode的問題
需要注意的是，Unicode只是一個符號集忧陪，它只規(guī)定了符號的二進制代碼扣泊，卻沒有規(guī)定這個二進制代碼應該如何存儲。
比如嘶摊，漢字"嚴"的unicode是十六進制數4E25延蟹，轉換成二進制數足足有15位（100111000100101），也就是說這個符號的表示至少需要2個字節(jié)叶堆。表示其他更大的符號阱飘，可能需要3個字節(jié)或者4個字節(jié)，甚至更多。
這里就有兩個嚴重的問題沥匈，第一個問題是果录，如何才能區(qū)別Unicode和ASCII？計算機怎么知道三個字節(jié)表示一個符號咐熙，而不是分別表示三個符號呢弱恒？第二個問題是潜支，我們已經知道椒楣，英文字母只用一個字節(jié)表示就夠了融蹂，如果Unicode統(tǒng)一規(guī)定虑瀑，每個符號用三個或四個字節(jié)表示掀泳，那么每個英文字母前都必然有二到三個字節(jié)是0未辆，這對于存儲來說是極大的浪費蔽挠，文本文件的大小會因此大出二三倍脖咐，這是無法接受的师崎。
它們造成的結果是：1）出現了Unicode的多種存儲方式默终，也就是說有許多種不同的二進制格式，可以用來表示Unicode犁罩。2）Unicode在很長一段時間內無法推廣齐蔽，直到互聯網的出現。
5.UTF-8
互聯網的普及床估，強烈要求出現一種統(tǒng)一的編碼方式含滴。UTF-8就是在互聯網上使用最廣的一種Unicode的實現方式。其他實現方式還包括UTF-16（字符用兩個字節(jié)或四個字節(jié)表示）和UTF-32（字符用四個字節(jié)表示）丐巫，不過在互聯網上基本不用谈况。重復一遍，這里的關系是递胧，UTF-8是Unicode的實現方式之一碑韵。
UTF-8最大的一個特點，就是它是一種變長的編碼方式缎脾。它可以使用1~4個字節(jié)表示一個符號祝闻，根據不同的符號而變化字節(jié)長度。
UTF-8的編碼規(guī)則很簡單赊锚，只有二條：
1）對于單字節(jié)的符號治筒，字節(jié)的第一位設為0屉栓，后面7位為這個符號的unicode碼舷蒲。因此對于英語字母，UTF-8編碼和ASCII碼是相同的友多。
2）對于n字節(jié)的符號（n>1）牲平，第一個字節(jié)的前n位都設為1，第n+1位設為0域滥，后面字節(jié)的前兩位一律設為10纵柿。剩下的沒有提及的二進制位蜈抓，全部為這個符號的unicode碼。
下表總結了編碼規(guī)則昂儒，字母x表示可用編碼的位沟使。
Unicode符號范圍 | UTF-8編碼方式
(十六進制) | （二進制）
--------------------+---------------------------------------------
0000 0000-0000 007F | 0xxxxxxx
0000 0080-0000 07FF | 110xxxxx 10xxxxxx
0000 0800-0000 FFFF | 1110xxxx 10xxxxxx 10xxxxxx
0001 0000-0010 FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
跟據上表，解讀UTF-8編碼非常簡單渊跋。如果一個字節(jié)的第一位是0腊嗡，則這個字節(jié)單獨就是一個字符；如果第一位是1拾酝，則連續(xù)有多少個1燕少，就表示當前字符占用多少個字節(jié)。
下面蒿囤，還是以漢字"嚴"為例客们，演示如何實現UTF-8編碼。
已知"嚴"的unicode是4E25（100111000100101）材诽，根據上表底挫，可以發(fā)現4E25處在第三行的范圍內（0000 0800-0000 FFFF），因此"嚴"的UTF-8編碼需要三個字節(jié)脸侥，即格式是"1110xxxx 10xxxxxx 10xxxxxx"凄敢。然后，從"嚴"的最后一個二進制位開始湿痢，依次從后向前填入格式中的x涝缝，多出的位補0。這樣就得到了譬重，"嚴"的UTF-8編碼是"11100100 10111000 10100101"拒逮，轉換成十六進制就是E4B8A5。
6. Unicode與UTF-8之間的轉換
通過上一節(jié)的例子臀规，可以看到"嚴"的Unicode碼是4E25滩援，UTF-8編碼是E4B8A5，兩者是不一樣的塔嬉。它們之間的轉換可以通過程序實現玩徊。
在Windows平臺下，有一個最簡單的轉化方法谨究，就是使用內置的記事本小程序Notepad.exe恩袱。打開文件后，點擊"文件"菜單中的"另存為"命令胶哲，會跳出一個對話框畔塔，在最底部有一個"編碼"的下拉條。
里面有四個選項：ANSI，Unicode澈吨，Unicode big endian 和 UTF-8把敢。
1）ANSI是默認的編碼方式。對于英文文件是ASCII編碼谅辣，對于簡體中文文件是GB2312編碼（只針對Windows簡體中文版修赞，如果是繁體中文版會采用Big5碼）。
2）Unicode編碼指的是UCS-2編碼方式桑阶，即直接用兩個字節(jié)存入字符的Unicode碼榔组。這個選項用的little endian格式。
3）Unicode big endian編碼與上一個選項相對應联逻。我在下一節(jié)會解釋little endian和big endian的涵義搓扯。
4）UTF-8編碼，也就是上一節(jié)談到的編碼方法包归。
選擇完"編碼方式"后锨推，點擊"保存"按鈕，文件的編碼方式就立刻轉換好了公壤。
7. Little endian和Big endian
上一節(jié)已經提到换可，Unicode碼可以采用UCS-2格式直接存儲。以漢字"嚴"為例厦幅，Unicode碼是4E25沾鳄，需要用兩個字節(jié)存儲，一個字節(jié)是4E确憨，另一個字節(jié)是25译荞。存儲的時候，4E在前休弃，25在后吞歼，就是Big endian方式；25在前塔猾，4E在后篙骡，就是Little endian方式。
這兩個古怪的名稱來自英國作家斯威夫特的《格列佛游記》丈甸。在該書中糯俗，小人國里爆發(fā)了內戰(zhàn)，戰(zhàn)爭起因是人們爭論睦擂，吃雞蛋時究竟是從大頭(Big-Endian)敲開還是從小頭(Little-Endian)敲開得湘。為了這件事情，前后爆發(fā)了六次戰(zhàn)爭祈匙，一個皇帝送了命忽刽，另一個皇帝丟了王位。
因此夺欲，第一個字節(jié)在前跪帝，就是"大頭方式"（Big endian），第二個字節(jié)在前就是"小頭方式"（Little endian）些阅。
那么很自然的伞剑，就會出現一個問題：計算機怎么知道某一個文件到底采用哪一種方式編碼？
Unicode規(guī)范中定義市埋，每一個文件的最前面分別加入一個表示編碼順序的字符黎泣，這個字符的名字叫做"零寬度非換行空格"（ZERO WIDTH NO-BREAK SPACE），用FEFF表示缤谎。這正好是兩個字節(jié)抒倚，而且FF比FE大1。
如果一個文本文件的頭兩個字節(jié)是FE FF坷澡，就表示該文件采用大頭方式托呕；如果頭兩個字節(jié)是FF FE，就表示該文件采用小頭方式频敛。
8. 實例
下面项郊，舉一個實例。
打開"記事本"程序Notepad.exe斟赚，新建一個文本文件着降，內容就是一個"嚴"字，依次采用ANSI拗军，Unicode任洞，Unicode big endian 和 UTF-8編碼方式保存。
然后发侵，用文本編輯軟件UltraEdit中的"十六進制功能"侈咕，觀察該文件的內部編碼方式。
1）ANSI：文件的編碼就是兩個字節(jié)"D1 CF"器紧，這正是"嚴"的GB2312編碼耀销，這也暗示GB2312是采用大頭方式存儲的。
2）Unicode：編碼是四個字節(jié)"FF FE 25 4E"铲汪，其中"FF FE"表明是小頭方式存儲熊尉，真正的編碼是4E25。
3）Unicode big endian：編碼是四個字節(jié)"FE FF 4E 25"掌腰，其中"FE FF"表明是大頭方式存儲狰住。
4）UTF-8：編碼是六個字節(jié)"EF BB BF E4 B8 A5"，前三個字節(jié)"EF BB BF"表示這是UTF-8編碼齿梁，后三個"E4B8A5"就是"嚴"的具體編碼催植，它的存儲順序與編碼順序是一致的肮蛹。
9. 延伸閱讀
*The Absolute Minimum Every Software Developer Absolutely, Positively Must Know About Unicode and Character Sets（關于字符集的最基本知識）
*RFC3629：UTF-8, a transformation format of ISO 10646（如果實現UTF-8的規(guī)定）
（完）
