簡(jiǎn)介

在本文中你將了解到Unicode和UTF-8,UTF-16,UTF-32的關(guān)系拆魏，同時(shí)你還會(huì)了解變種UTF-8熟妓，并且探討一下UTF-8和變種UTF-8在java中的應(yīng)用雪猪。

一起來(lái)看看吧。

Unicode的發(fā)展史

在很久很久以前起愈，西方世界出現(xiàn)了一種叫做計(jì)算機(jī)的高科技產(chǎn)品只恨。

初代計(jì)算機(jī)只能做些簡(jiǎn)單的算數(shù)運(yùn)算译仗，還要使用人工打孔的程序才能運(yùn)行，不過(guò)隨著時(shí)間的推移官觅，計(jì)算機(jī)的體積越來(lái)越小古劲，計(jì)算能力越來(lái)越強(qiáng)，打孔已經(jīng)不存在了缰猴，變成了人工編寫(xiě)的計(jì)算機(jī)語(yǔ)言产艾。

一切都在變化，唯有一件事情沒(méi)有變化滑绒。這件事件就是計(jì)算機(jī)和編程語(yǔ)言只流傳在西方闷堡。而西方日常交流使用26個(gè)字母加有限的標(biāo)點(diǎn)符號(hào)就夠了。

最初的計(jì)算機(jī)存儲(chǔ)可以是非常昂貴的疑故，我們用一個(gè)字節(jié)也就是8bit來(lái)存儲(chǔ)所有能夠用到的字符杠览，除了最開(kāi)始的1bit不用以外，總共有128中選擇纵势，裝26個(gè)小寫(xiě)+26個(gè)大寫(xiě)字母和其他的一些標(biāo)點(diǎn)符號(hào)之類(lèi)的完全夠用了踱阿。

這就是最初的ASCII編碼，也叫做美國(guó)信息交換標(biāo)準(zhǔn)代碼（American Standard Code for Information Interchange）钦铁。

后面計(jì)算機(jī)傳到了全球软舌，人們才發(fā)現(xiàn)好像之前的ASCII編碼不夠用了，比如中文中常用的漢字就有4千多個(gè)牛曹，怎么辦呢?

沒(méi)關(guān)系佛点，將ASCII編碼本地化，叫做ANSI編碼黎比。1個(gè)字節(jié)不夠用就用2個(gè)字節(jié)嘛超营，路是人走出來(lái)的，編碼也是為人來(lái)服務(wù)的阅虫。于是產(chǎn)生了各種如GB2312, BIG5, JIS等各自的編碼標(biāo)準(zhǔn)演闭。這些編碼雖然與ASCII編碼兼容，但是相互之間卻并不兼容颓帝。

這嚴(yán)重的影響了國(guó)際化的進(jìn)程米碰，這樣還怎么去實(shí)現(xiàn)同一個(gè)地球，同一片家園的夢(mèng)想躲履？

于是國(guó)際組織出手了见间，制定了UNICODE字符集，為所有語(yǔ)言的所有字符都定義了一個(gè)唯一的編碼工猜，unicode的字符集是從U+0000到U+10FFFF這么多個(gè)編碼米诉。

那么unicode和UTF-8，UTF-16篷帅，UTF-32有什么關(guān)系呢史侣？

unicode字符集最后是要存儲(chǔ)到文件或者內(nèi)存里面的拴泌，直接存儲(chǔ)的話(huà)，空間占用太大惊橱。那怎么存呢蚪腐？使用固定的1個(gè)字節(jié)，2個(gè)字節(jié)還是用變長(zhǎng)的字節(jié)呢税朴？于是我們根據(jù)編碼方式的不同回季，分成了UTF-8，UTF-16正林，UTF-32等多種編碼方式泡一。

其中UTF-8是一種變長(zhǎng)的編碼方案，它使用1-4個(gè)字節(jié)來(lái)存儲(chǔ)觅廓。UTF-16使用2個(gè)或者4個(gè)字節(jié)來(lái)存儲(chǔ)鼻忠，JDK9之后的String的底層編碼方式變成了兩種：LATIN1和UTF16。

而UTF-32是使用4個(gè)字節(jié)來(lái)存儲(chǔ)杈绸。這三種編碼方式中帖蔓，只有UTF-8是兼容ASCII的，這也是為什么國(guó)際上UTF-8編碼方式比較通用的原因（畢竟計(jì)算機(jī)技術(shù)都是西方人搞出來(lái)的）瞳脓。

Unicode詳解

知道了Unicode的發(fā)展史之后塑娇，接下來(lái)我們?cè)斀庵v解一下Unicode到底是怎么編碼的。

Unicode標(biāo)準(zhǔn)從1991年發(fā)布1.0版本篡殷，已經(jīng)發(fā)展到2020年3月最新的13.0版本钝吮。

Unicode能夠表示的字符串范圍是0到10FFFF,表示為U+0000到U+10FFFF埋涧。

其中U+D800到U+DFFF的這些字符是預(yù)留給UTF-16使用的板辽，所以Unicode的實(shí)際表示字符個(gè)數(shù)是216 ? 211 + 220 = 1,112,064個(gè)。

我們將Unicode的這些字符集分成17個(gè)平面,各個(gè)平面的分布圖如下：

image

以Plan 0為例棘催，Basic Multilingual Plane (BMP)基本上包含了大部分常用的字符劲弦，下圖展示了BMP中所表示的對(duì)應(yīng)字符：

image

上面我們提到了U+D800到U+DFFF是UTF-16的保留字符。其中高位U+D800–U+DBFF和低位U+DC00–U+DFFF是作為一對(duì)16bits來(lái)對(duì)非BMP的字符進(jìn)行UTF-16編碼醇坝。單獨(dú)的一個(gè)16bits是無(wú)意義的邑跪。

UTF-8

UTF-8是用1到4個(gè)字節(jié)來(lái)表示所有的1,112,064個(gè)Unicode字符。所以UTF-8是一種變長(zhǎng)的編碼方式呼猪。

UTF-8目前是Web中最常見(jiàn)的編碼方式画畅，我們看下UTF-8怎么對(duì)Unicode進(jìn)行編碼：

image

最開(kāi)始的1個(gè)字節(jié)可以表示128個(gè)ASCII字符，所以UTF-8是和ASCII兼容的宋距。

接下來(lái)的1,920個(gè)字符需要兩個(gè)字節(jié)進(jìn)行編碼轴踱，涵蓋了幾乎所有拉丁字母字母表的其余部分，以及希臘語(yǔ)谚赎，西里爾字母淫僻，科普特語(yǔ)诱篷，亞美尼亞語(yǔ)，希伯來(lái)語(yǔ)雳灵，阿拉伯語(yǔ)棕所，敘利亞語(yǔ)，Thaana和N'Ko字母悯辙，以及組合變音符號(hào)標(biāo)記琳省。BMP中的其余部分中的字符需要三個(gè)字節(jié)，其中幾乎包含了所有常用字符躲撰，包括大多數(shù)中文岛啸，日文和韓文字符。Unicode中其他平面中的字符需要四個(gè)字節(jié)茴肥，其中包括不太常見(jiàn)的CJK字符坚踩，各種歷史腳本，數(shù)學(xué)符號(hào)和表情符號(hào)（象形符號(hào)）瓤狐。

下面是一個(gè)具體的UTF-8編碼的例子：

image

UTF-16

UTF-16也是一種變長(zhǎng)的編碼方式瞬铸，UTF-16使用的是1個(gè)到2個(gè)16bits來(lái)表示相應(yīng)的字符。

UTF-16主要在Microsoft Windows, Java 和 JavaScript/ECMAScript內(nèi)部使用础锐。

不過(guò)UTF-16在web上的使用率并不高嗓节。

接下來(lái)，我們看一下UTF-16到底是怎么進(jìn)行編碼的皆警。

首先：U+0000 to U+D7FF 和 U+E000 to U+FFFF拦宣，這個(gè)范圍的字符，直接是用1個(gè)16bits來(lái)表示的信姓，非常的直觀鸵隧。

接著是：U+010000 to U+10FFFF

這個(gè)范圍的字符，首先減去0x10000意推，變成20bits表示的0x00000–0xFFFFF豆瘫。

然后高10bits位的0x000–0x3FF加上0xD800，變成了0xD800–0xDBFF菊值，使用1個(gè)16bits來(lái)表示外驱。

低10bits的0x000–0x3FF加上0xDC00，變成了0xDC00–0xDFFF腻窒，使用1個(gè)16bits來(lái)表示昵宇。

U' = yyyyyyyyyyxxxxxxxxxx  // U - 0x10000
W1 = 110110yyyyyyyyyy      // 0xD800 + yyyyyyyyyy
W2 = 110111xxxxxxxxxx      // 0xDC00 + xxxxxxxxxx

這也是為什么在Unicode中0xD800–0xDFFF是UTF-16保留字符的原因。

下面是一個(gè)UTF-16編碼的例子：

image

UTF-32

UTF-32是固定長(zhǎng)度的編碼儿子，每一個(gè)字符都需要使用1個(gè)32bits來(lái)表示瓦哎。

因?yàn)槭?2bits，所以UTF-32可以直接用來(lái)表示Unicode字符，缺點(diǎn)就是UTF-32占用的空間太大杭煎，所以一般來(lái)說(shuō)很少有系統(tǒng)使用UTF-32.

Null-terminated string 和變種UTF-8

在C語(yǔ)言中恩够，一個(gè)string是以null character ('\0'）NUL結(jié)束的。

所以在這種字符中羡铲，0x00是不能存儲(chǔ)在String中間的蜂桶。那么如果我們真的想要存儲(chǔ)0x00該怎么辦呢？

我們可以使用變種UTF-8編碼也切。

在變種UTF-8中扑媚，null character (U+0000) 是使用兩個(gè)字節(jié)的：11000000 10000000 來(lái)表示的。

所以變種UTF-8可以表示所有的Unicode字符雷恃，包括null character U+0000疆股。

通常來(lái)說(shuō)，在java中倒槐，InputStreamReader 和 OutputStreamWriter 默認(rèn)使用的是標(biāo)準(zhǔn)的UTF-8編碼旬痹，但是在對(duì)象序列化和DataInput，DataOutput,JNI和class文件中的字符串常量都是使用的變種UTF-8來(lái)表示的讨越。

本文已收錄于 http://www.flydean.com/java-string-encodings/

最通俗的解讀两残，最深刻的干貨，最簡(jiǎn)潔的教程把跨，眾多你不知道的小技巧等你來(lái)發(fā)現(xiàn)人弓！

歡迎關(guān)注我的公眾號(hào):「程序那些事」,懂技術(shù)，更懂你着逐！