字符集
世界上有很多文字,比如中文浓体,英文泡挺,韓文,命浴,阿拉伯文等娄猫。每種語言的字符形狀各異,中文有自己的字符集合,英文有自己的字符集合稚新。而Unicode字符集勘伺,則包含了絕大多數(shù)字符集,是一種通用字符集(Universal Character Set, UCS)褂删。
在表示一個Unicode的字符時飞醉,通常會用“U+”然后緊接著一組十六進(jìn)制的數(shù)字來表示這一個字符。例如“U+0041”代表字符“A”
Unicode字符集包含了兩個方面的內(nèi)容:字符的編碼和編碼的實現(xiàn)方式屯阀。
字符編碼
通俗點說缅帘,就是給每個字符分配一個編號,比如前面提到的字母“A”难衰,它的編號就是41钦无,即U+0041,而漢字“朱”的編號就是6731,即U+6731
Unicode的編碼空間從U+0000到U+10FFFF盖袭,共有1,112,064個碼位(code point)可用來映射字符. Unicode的編碼空間可以劃分為17個平面(plane)失暂,每個平面包含65,536個碼位。17個平面的碼位可表示為從U+xx0000到U+xxFFFF鳄虱,其中xx表示十六進(jìn)制值從00到10弟塞,共計17個平面。第一個平面稱為基本多語言平面(Basic Multilingual Plane, BMP)拙已,或稱第零平面(Plane 0)决记。其他平面稱為輔助平面(Supplementary Planes)。
基本多語言平面內(nèi)倍踪,從U+D800到U+DFFF之間的碼位區(qū)塊是永久保留不映射到Unicode字符系宫。
UTF-16就利用保留下來的0xD800-0xDFFF區(qū)段的碼位來對輔助平面的字符的碼位進(jìn)行編碼。也就是說建车,在你的程序里只要判斷一個字符是否屬于這個范圍內(nèi)扩借,就可以知道這個字符是應(yīng)該被當(dāng)做一個獨立的Unicode基本字符處理,還是當(dāng)做半個擴展Unicode字符癞志。比如\uD83D\uDE18往枷,這就是一個emoji表情框产,是一個字符凄杯,雖然有兩個\u
編碼的具體實現(xiàn)方式
Unicode只是字符集合,雖然為每個字符分配了一個唯一的編號(一個整數(shù)值)秉宿,在傳輸和存儲的時候戒突,卻有很多方式去表示這個整數(shù)值。
Unicode字符集規(guī)定的標(biāo)準(zhǔn)編碼方案是UCS-2(UTF-16)描睦,用兩個字節(jié)表示一個Unicode字符(UTF-16中兩個字節(jié)的為基本多語言平面字符膊存,4個字節(jié)的為輔助平面字符)。而UCS-4(UTF-32)用4個字節(jié)表示一個Unicode字符。另外一個常用的Unicode編碼方案–UTF-8用1到4個變長字節(jié)來表示一個Unicode字符隔崎,并可以從一個簡單的轉(zhuǎn)換算法從UTF-16直接得到今艺。所以在使用Unicode字符集時有多種編碼方案,分別用于合適的場景爵卒。
JVM規(guī)范中明確說明了java的char類型使用的編碼方案是UTF-16虚缎。
比如,漢字"嚴(yán)"的unicode代碼是U+4E25钓株,轉(zhuǎn)換成二進(jìn)制數(shù)是100111000100101实牡,有15位,需要2個字節(jié)去表示轴合。對于基本平面中的字符创坞,unicode代碼和UTF-16編碼是一樣的,都是用兩個字節(jié)來表示受葛,因此漢子“嚴(yán)”的UTF-16編碼可以表示為\u4e25
Java中一個字符到底占幾個字節(jié)
這是一個容易讓人迷惑的問題题涨,舉個例子
String str = "嚴(yán)";
System.out.println("str="+str);
System.out.println("str len=" + str.length());
System.out.println("str getBytes=" + str.getBytes().length+" HEX="+bytes2HexString(str.getBytes()));
System.out.println("str getBytes UTF-8=" + str.getBytes("UTF-8").length+" HEX="+bytes2HexString(str.getBytes("UTF-8")));
System.out.println("str getBytes UTF-16=" + str.getBytes("UTF-16").length+" HEX="+bytes2HexString(str.getBytes("UTF-16")));
System.out.println("str getBytes UTF-16BE=" + str.getBytes("UTF-16BE").length+" HEX="+bytes2HexString(str.getBytes("UTF-16BE")));
System.out.println("str getBytes UTF-16LE=" + str.getBytes("UTF-16LE").length+" HEX="+bytes2HexString(str.getBytes("UTF-16LE")));
System.out.println("str getBytes Unicode=" + str.getBytes("Unicode").length+" HEX="+bytes2HexString(str.getBytes("Unicode")));
運行結(jié)果:
str=嚴(yán)
str len=1
str getBytes=3 HEX=E4 B8 A5
str getBytes UTF-8=3 HEX=E4 B8 A5
str getBytes UTF-16=4 HEX=FE FF 4E 25
str getBytes UTF-16BE=2 HEX=4E 25
str getBytes UTF-16LE=2 HEX=25 4E
str getBytes Unicode=4 HEX=FE FF 4E 25
可以看出,“嚴(yán)”這個字符串的長度是1总滩,如果是UTF-8編碼携栋,需要3個字節(jié)來表示,getBytes()方法默認(rèn)返回了UTF-8編碼的字節(jié)咳秉。
如果是UTF-16編碼婉支,居然需要4個字節(jié),前兩個字節(jié)時FEFF澜建,后兩位才是4E25,這是因為UTF-16以兩個字節(jié)為編碼單元向挖,要考慮字節(jié)序,所以使用BOM(Byte Order Mark)來標(biāo)志字節(jié)序: FEFF or FFFE.
FEFF: Big Endian
FFEF: Little Endian
而我們直接指定了字節(jié)序后炕舵,就只需要2個字節(jié)了
把str字符串設(shè)置為“A”,再次運行程序何之,得到結(jié)果如下
str=A
str len=1
str getBytes=1 HEX=41
str getBytes UTF-8=1 HEX=41
str getBytes UTF-16=4 HEX=FE FF 00 41
str getBytes UTF-16BE=2 HEX=00 41
str getBytes UTF-16LE=2 HEX=41 00
str getBytes Unicode=4 HEX=FE FF 00 41
可以看出,如果都用UTF-16編碼咽筋,是比較浪費字節(jié)的溶推,如果不指定字節(jié)序,需要4個字節(jié)奸攻,指定了字節(jié)序也需要2個字節(jié)蒜危。而用變長的UTF-8來表示,則只需要一個字節(jié)睹耐。
再舉個例子辐赞,將str字符串設(shè)置為“你s??”,其中“你”是中文,“s”是英文硝训,“??”是個emoji表情响委,它的Unicode編碼是U+1F466新思,轉(zhuǎn)換成UTF-16表示是“\ud83d\udc66”,因此這個字符串也等價于“你s\ud83d\udc66”
str=你s??
str len=4
str getBytes=8 HEX=E4 BD A0 73 F0 9F 91 A6
str getBytes UTF-8=8 HEX=E4 BD A0 73 F0 9F 91 A6
str getBytes UTF-16=10 HEX=FE FF 4F 60 00 73 D8 3D DC 66
str getBytes UTF-16BE=8 HEX=4F 60 00 73 D8 3D DC 66
str getBytes UTF-16LE=8 HEX=60 4F 73 00 3D D8 66 DC
str getBytes Unicode=10 HEX=FE FF 4F 60 00 73 D8 3D DC 66
這個字符串只有3個unicode字符(java里也叫3個代碼點 code point)赘风,但是字符串長度是4(java里也叫有4個代碼單元夹囚,1個代碼單元其實就是2個字節(jié),一般一個代碼點可由一個代碼單元表示邀窃,特殊字符比如emoji需要兩個代碼單元)
至于怎么把一個代碼點U+1F466轉(zhuǎn)換成UTF-16的編碼方式\ud83d\udc66崔兴,可以參考wiki文檔