詳解Unicode與UTF-8惦蚊、UTF-16器虾、UTF-32.

計算機起源于美國,上個世紀蹦锋,他們對英語字符與二進制位之間的關系做了統(tǒng)一規(guī)定兆沙,并制定了一套字符編碼規(guī)則,這套編碼規(guī)則被稱為ASCII編碼

ASCII 編碼一共定義了128個字符的編碼規(guī)則莉掂,用七位二進制表示 ( 0x00 - 0x7F ), 這些字符組成的集合就叫做 ASCII 字符集

隨著計算機的普及葛圃,在不同的地區(qū)和國家又出現(xiàn)了很多字符編碼,比如: 大陸的 GB2312憎妙、港臺的 BIG5, 日本的 Shift JIS等等

由于字符編碼不同库正,計算機在不同國家之間的交流變得很困難,經(jīng)常會出現(xiàn)亂碼的問題厘唾,比如:對于同一個二進制數(shù)據(jù)褥符,不同的編碼會解析出不同的字符

當互聯(lián)網(wǎng)迅猛發(fā)展,地域限制打破之后阅嘶,人們迫切的希望有一種統(tǒng)一的規(guī)則, 對所有國家和地區(qū)的字符進行編碼属瓣,于是 Unicode 就出現(xiàn)了

Unicode 簡介

Unicode 是國際標準字符集,它將世界各種語言的每個字符定義一個唯一的編碼讯柔,以滿足跨語言抡蛙、跨平臺的文本信息轉換

Unicode 字符集的編碼范圍是 0x0000 - 0x10FFFF , 可以容納一百多萬個字符, 每個字符都有一個獨一無二的編碼魂迄,也即每個字符都有一個二進制數(shù)值和它對應粗截,這里的二進制數(shù)值也叫 碼點 , 比如:漢字 "中" 的 碼點是 0x4E2D, 大寫字母 A 的碼點是 0x41, 具體字符對應的 Unicode 編碼可以查詢 Unicode字符編碼表

字符集和字符編碼

字符集是很多個字符的集合,例如 GB2312 是簡體中文的字符集捣炬,它收錄了六千多個常用的簡體漢字及一些符號熊昌,數(shù)字,拼音等字符

字符編碼是 字符集的一種實現(xiàn)方式湿酸,把字符集中的字符映射為特定的字節(jié)或字節(jié)序列婿屹,它是一種規(guī)則

比如:Unicode 只是字符集,UTF-8推溃、UTF-16昂利、UTF-32 才是真正的字符編碼規(guī)則

Unicode 字符存儲

Unicode 是一個符號集, 它只規(guī)定了每個符號的二進制值铁坎,但是符號具體如何存儲它并沒有規(guī)定

前面提到, Unicode 字符集的編碼范圍是 0x0000 - 0x10FFFF蜂奸,因此需要 1 到 3 個字節(jié)來表示

那么,對于三個字節(jié)的 Unicode字符硬萍,計算機怎么知道它表示的是一個字符而不是三個字符呢 扩所?

如果所有字符都用三個字節(jié)表示,那么對于那些一個字節(jié)就能表示的字符來說朴乖,有兩個字節(jié)是無意義的祖屏,對于存儲來說助赞,這是極大的浪費,假如 , 一個普通的文本, 大部分字符都只需一個字節(jié)就能表示赐劣,現(xiàn)在如果需要三個字節(jié)才能表示嫉拐,文本的大小會大出三倍左右

因此哩都,Unicode 出現(xiàn)了多種存儲方式魁兼,常見的有 UTF-8、UTF-16漠嵌、UTF-32咐汞,它們分別用不同的二進制格式來表示 Unicode 字符

UTF-8、UTF-16儒鹿、UTF-32 中的 "UTF" 是 "Unicode Transformation Format" 的縮寫化撕,意思是"Unicode 轉換格式",后面的數(shù) 字表明至少使用多少個比特位來存儲字符, 比如:UTF-8 最少需要8個比特位也就是一個字節(jié)來存儲约炎,對應的植阴, UTF-16 和 UTF-32 分別需要最少 2 個字節(jié) 和 4 個字節(jié)來存儲

詳情請看https://blog.csdn.net/fengjipeng/article/details/119635729

?著作權歸作者所有,轉載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市圾浅,隨后出現(xiàn)的幾起案子掠手,更是在濱河造成了極大的恐慌,老刑警劉巖狸捕,帶你破解...
    沈念sama閱讀 216,372評論 6 498
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件喷鸽,死亡現(xiàn)場離奇詭異,居然都是意外死亡灸拍,警方通過查閱死者的電腦和手機做祝,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,368評論 3 392
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來鸡岗,“玉大人混槐,你說我怎么就攤上這事⌒裕” “怎么了声登?”我有些...
    開封第一講書人閱讀 162,415評論 0 353
  • 文/不壞的土叔 我叫張陵,是天一觀的道長炮姨。 經(jīng)常有香客問我捌刮,道長,這世上最難降的妖魔是什么舒岸? 我笑而不...
    開封第一講書人閱讀 58,157評論 1 292
  • 正文 為了忘掉前任绅作,我火速辦了婚禮,結果婚禮上蛾派,老公的妹妹穿的比我還像新娘俄认。我一直安慰自己个少,他們只是感情好,可當我...
    茶點故事閱讀 67,171評論 6 388
  • 文/花漫 我一把揭開白布眯杏。 她就那樣靜靜地躺著夜焦,像睡著了一般。 火紅的嫁衣襯著肌膚如雪岂贩。 梳的紋絲不亂的頭發(fā)上茫经,一...
    開封第一講書人閱讀 51,125評論 1 297
  • 那天,我揣著相機與錄音萎津,去河邊找鬼卸伞。 笑死,一個胖子當著我的面吹牛锉屈,可吹牛的內(nèi)容都是我干的荤傲。 我是一名探鬼主播,決...
    沈念sama閱讀 40,028評論 3 417
  • 文/蒼蘭香墨 我猛地睜開眼颈渊,長吁一口氣:“原來是場噩夢啊……” “哼遂黍!你這毒婦竟也來了?” 一聲冷哼從身側響起俊嗽,我...
    開封第一講書人閱讀 38,887評論 0 274
  • 序言:老撾萬榮一對情侶失蹤雾家,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后乌询,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體榜贴,經(jīng)...
    沈念sama閱讀 45,310評論 1 310
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,533評論 2 332
  • 正文 我和宋清朗相戀三年妹田,在試婚紗的時候發(fā)現(xiàn)自己被綠了唬党。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 39,690評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡鬼佣,死狀恐怖驶拱,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情晶衷,我是刑警寧澤蓝纲,帶...
    沈念sama閱讀 35,411評論 5 343
  • 正文 年R本政府宣布,位于F島的核電站晌纫,受9級特大地震影響税迷,放射性物質發(fā)生泄漏。R本人自食惡果不足惜锹漱,卻給世界環(huán)境...
    茶點故事閱讀 41,004評論 3 325
  • 文/蒙蒙 一箭养、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧哥牍,春花似錦毕泌、人聲如沸喝检。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,659評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽挠说。三九已至,卻和暖如春愿题,著一層夾襖步出監(jiān)牢的瞬間损俭,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 32,812評論 1 268
  • 我被黑心中介騙來泰國打工抠忘, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留撩炊,地道東北人。 一個月前我還...
    沈念sama閱讀 47,693評論 2 368
  • 正文 我出身青樓崎脉,卻偏偏與公主長得像,于是被迫代替她去往敵國和親伯顶。 傳聞我的和親對象是個殘疾皇子囚灼,可洞房花燭夜當晚...
    茶點故事閱讀 44,577評論 2 353

推薦閱讀更多精彩內(nèi)容