Java、Unicode被啼、UTF-8帜消、UTF-16之間的關(guān)系

字符集

世界上有很多文字,比如中文浓体,英文泡挺,韓文,命浴,阿拉伯文等娄猫。每種語言的字符形狀各異,中文有自己的字符集合,英文有自己的字符集合稚新。而Unicode字符集勘伺,則包含了絕大多數(shù)字符集,是一種通用字符集(Universal Character Set, UCS)褂删。

在表示一個Unicode的字符時飞醉,通常會用“U+”然后緊接著一組十六進(jìn)制的數(shù)字來表示這一個字符。例如“U+0041”代表字符“A”

Unicode字符集包含了兩個方面的內(nèi)容:字符的編碼和編碼的實現(xiàn)方式屯阀。

字符編碼

通俗點說缅帘,就是給每個字符分配一個編號,比如前面提到的字母“A”难衰,它的編號就是41钦无,即U+0041,而漢字“朱”的編號就是6731,即U+6731

Unicode的編碼空間從U+0000到U+10FFFF盖袭,共有1,112,064個碼位(code point)可用來映射字符. Unicode的編碼空間可以劃分為17個平面(plane)失暂,每個平面包含65,536個碼位。17個平面的碼位可表示為從U+xx0000到U+xxFFFF鳄虱,其中xx表示十六進(jìn)制值從00到10弟塞,共計17個平面。第一個平面稱為基本多語言平面(Basic Multilingual Plane, BMP)拙已,或稱第零平面(Plane 0)决记。其他平面稱為輔助平面(Supplementary Planes)。

基本多語言平面內(nèi)倍踪,從U+D800到U+DFFF之間的碼位區(qū)塊是永久保留不映射到Unicode字符系宫。

UTF-16就利用保留下來的0xD800-0xDFFF區(qū)段的碼位來對輔助平面的字符的碼位進(jìn)行編碼。也就是說建车,在你的程序里只要判斷一個字符是否屬于這個范圍內(nèi)扩借,就可以知道這個字符是應(yīng)該被當(dāng)做一個獨立的Unicode基本字符處理,還是當(dāng)做半個擴展Unicode字符癞志。比如\uD83D\uDE18往枷,這就是一個emoji表情框产,是一個字符凄杯,雖然有兩個\u

編碼的具體實現(xiàn)方式

Unicode只是字符集合,雖然為每個字符分配了一個唯一的編號(一個整數(shù)值)秉宿,在傳輸和存儲的時候戒突,卻有很多方式去表示這個整數(shù)值。

Unicode字符集規(guī)定的標(biāo)準(zhǔn)編碼方案是UCS-2(UTF-16)描睦,用兩個字節(jié)表示一個Unicode字符(UTF-16中兩個字節(jié)的為基本多語言平面字符膊存,4個字節(jié)的為輔助平面字符)。而UCS-4(UTF-32)用4個字節(jié)表示一個Unicode字符。另外一個常用的Unicode編碼方案–UTF-8用1到4個變長字節(jié)來表示一個Unicode字符隔崎,并可以從一個簡單的轉(zhuǎn)換算法從UTF-16直接得到今艺。所以在使用Unicode字符集時有多種編碼方案,分別用于合適的場景爵卒。

JVM規(guī)范中明確說明了java的char類型使用的編碼方案是UTF-16虚缎。

比如,漢字"嚴(yán)"的unicode代碼是U+4E25钓株,轉(zhuǎn)換成二進(jìn)制數(shù)是100111000100101实牡,有15位,需要2個字節(jié)去表示轴合。對于基本平面中的字符创坞,unicode代碼和UTF-16編碼是一樣的,都是用兩個字節(jié)來表示受葛,因此漢子“嚴(yán)”的UTF-16編碼可以表示為\u4e25

Java中一個字符到底占幾個字節(jié)

這是一個容易讓人迷惑的問題题涨,舉個例子


        String str = "嚴(yán)";
        System.out.println("str="+str);
        System.out.println("str len=" + str.length());
        System.out.println("str getBytes=" + str.getBytes().length+"  HEX="+bytes2HexString(str.getBytes()));
        System.out.println("str getBytes UTF-8=" + str.getBytes("UTF-8").length+"  HEX="+bytes2HexString(str.getBytes("UTF-8")));
        System.out.println("str getBytes UTF-16=" + str.getBytes("UTF-16").length+"  HEX="+bytes2HexString(str.getBytes("UTF-16")));
        System.out.println("str getBytes UTF-16BE=" + str.getBytes("UTF-16BE").length+"  HEX="+bytes2HexString(str.getBytes("UTF-16BE")));
        System.out.println("str getBytes UTF-16LE=" + str.getBytes("UTF-16LE").length+"  HEX="+bytes2HexString(str.getBytes("UTF-16LE")));
        System.out.println("str getBytes Unicode=" + str.getBytes("Unicode").length+"  HEX="+bytes2HexString(str.getBytes("Unicode")));

運行結(jié)果:

str=嚴(yán)
str len=1
str getBytes=3  HEX=E4 B8 A5
str getBytes UTF-8=3  HEX=E4 B8 A5
str getBytes UTF-16=4  HEX=FE FF 4E 25
str getBytes UTF-16BE=2  HEX=4E 25
str getBytes UTF-16LE=2  HEX=25 4E
str getBytes Unicode=4  HEX=FE FF 4E 25

可以看出,“嚴(yán)”這個字符串的長度是1总滩,如果是UTF-8編碼携栋,需要3個字節(jié)來表示,getBytes()方法默認(rèn)返回了UTF-8編碼的字節(jié)咳秉。

如果是UTF-16編碼婉支,居然需要4個字節(jié),前兩個字節(jié)時FEFF澜建,后兩位才是4E25,這是因為UTF-16以兩個字節(jié)為編碼單元向挖,要考慮字節(jié)序,所以使用BOM(Byte Order Mark)來標(biāo)志字節(jié)序: FEFF or FFFE.

FEFF: Big Endian

FFEF: Little Endian

而我們直接指定了字節(jié)序后炕舵,就只需要2個字節(jié)了


把str字符串設(shè)置為“A”,再次運行程序何之,得到結(jié)果如下

str=A
str len=1
str getBytes=1  HEX=41
str getBytes UTF-8=1  HEX=41
str getBytes UTF-16=4  HEX=FE FF 00 41
str getBytes UTF-16BE=2  HEX=00 41
str getBytes UTF-16LE=2  HEX=41 00
str getBytes Unicode=4  HEX=FE FF 00 41

可以看出,如果都用UTF-16編碼咽筋,是比較浪費字節(jié)的溶推,如果不指定字節(jié)序,需要4個字節(jié)奸攻,指定了字節(jié)序也需要2個字節(jié)蒜危。而用變長的UTF-8來表示,則只需要一個字節(jié)睹耐。


再舉個例子辐赞,將str字符串設(shè)置為“你s??”,其中“你”是中文,“s”是英文硝训,“??”是個emoji表情响委,它的Unicode編碼是U+1F466新思,轉(zhuǎn)換成UTF-16表示是“\ud83d\udc66”,因此這個字符串也等價于“你s\ud83d\udc66”

str=你s??
str len=4
str getBytes=8  HEX=E4 BD A0 73 F0 9F 91 A6
str getBytes UTF-8=8  HEX=E4 BD A0 73 F0 9F 91 A6
str getBytes UTF-16=10  HEX=FE FF 4F 60 00 73 D8 3D DC 66
str getBytes UTF-16BE=8  HEX=4F 60 00 73 D8 3D DC 66
str getBytes UTF-16LE=8  HEX=60 4F 73 00 3D D8 66 DC
str getBytes Unicode=10  HEX=FE FF 4F 60 00 73 D8 3D DC 66

這個字符串只有3個unicode字符(java里也叫3個代碼點 code point)赘风,但是字符串長度是4(java里也叫有4個代碼單元夹囚,1個代碼單元其實就是2個字節(jié),一般一個代碼點可由一個代碼單元表示邀窃,特殊字符比如emoji需要兩個代碼單元)

至于怎么把一個代碼點U+1F466轉(zhuǎn)換成UTF-16的編碼方式\ud83d\udc66崔兴,可以參考wiki文檔

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市蛔翅,隨后出現(xiàn)的幾起案子敲茄,更是在濱河造成了極大的恐慌,老刑警劉巖山析,帶你破解...
    沈念sama閱讀 211,743評論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件堰燎,死亡現(xiàn)場離奇詭異,居然都是意外死亡笋轨,警方通過查閱死者的電腦和手機秆剪,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,296評論 3 385
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來爵政,“玉大人仅讽,你說我怎么就攤上這事〖匦” “怎么了洁灵?”我有些...
    開封第一講書人閱讀 157,285評論 0 348
  • 文/不壞的土叔 我叫張陵,是天一觀的道長掺出。 經(jīng)常有香客問我徽千,道長,這世上最難降的妖魔是什么汤锨? 我笑而不...
    開封第一講書人閱讀 56,485評論 1 283
  • 正文 為了忘掉前任双抽,我火速辦了婚禮,結(jié)果婚禮上闲礼,老公的妹妹穿的比我還像新娘牍汹。我一直安慰自己,他們只是感情好柬泽,可當(dāng)我...
    茶點故事閱讀 65,581評論 6 386
  • 文/花漫 我一把揭開白布慎菲。 她就那樣靜靜地躺著,像睡著了一般聂抢。 火紅的嫁衣襯著肌膚如雪钧嘶。 梳的紋絲不亂的頭發(fā)上棠众,一...
    開封第一講書人閱讀 49,821評論 1 290
  • 那天琳疏,我揣著相機與錄音有决,去河邊找鬼。 笑死空盼,一個胖子當(dāng)著我的面吹牛书幕,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播揽趾,決...
    沈念sama閱讀 38,960評論 3 408
  • 文/蒼蘭香墨 我猛地睜開眼台汇,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了篱瞎?” 一聲冷哼從身側(cè)響起苟呐,我...
    開封第一講書人閱讀 37,719評論 0 266
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎俐筋,沒想到半個月后牵素,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 44,186評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡澄者,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,516評論 2 327
  • 正文 我和宋清朗相戀三年笆呆,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片粱挡。...
    茶點故事閱讀 38,650評論 1 340
  • 序言:一個原本活蹦亂跳的男人離奇死亡赠幕,死狀恐怖壤圃,靈堂內(nèi)的尸體忽然破棺而出轿腺,到底是詐尸還是另有隱情琴拧,我是刑警寧澤寿谴,帶...
    沈念sama閱讀 34,329評論 4 330
  • 正文 年R本政府宣布剩檀,位于F島的核電站桨嫁,受9級特大地震影響蔚润,放射性物質(zhì)發(fā)生泄漏训貌。R本人自食惡果不足惜灌危,卻給世界環(huán)境...
    茶點故事閱讀 39,936評論 3 313
  • 文/蒙蒙 一康二、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧勇蝙,春花似錦沫勿、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,757評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至翁锡,卻和暖如春蔓挖,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背馆衔。 一陣腳步聲響...
    開封第一講書人閱讀 31,991評論 1 266
  • 我被黑心中介騙來泰國打工瘟判, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留怨绣,地道東北人。 一個月前我還...
    沈念sama閱讀 46,370評論 2 360
  • 正文 我出身青樓拷获,卻偏偏與公主長得像篮撑,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子匆瓜,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 43,527評論 2 349

推薦閱讀更多精彩內(nèi)容