UTF-8編碼發(fā)展歷史

1. 美國人首先對英文字符編成ASCII碼脂新,用一個字節(jié)中的低7位表示英文128個字符,高1位統(tǒng)一為0

2. 歐洲人字母上存在注音符谒府,128位不夠用拼坎,即采用高1位,最多可表示256位

3. 不同國家字符編碼不一致完疫,雖然0--127表示的符號是一樣的泰鸡,但是128--255的含義不一致,例:135在法語趋惨,希伯來語鸟顺,俄語編碼中完全是不同的符號。

4.中國有10萬多個漢字器虾,256也不夠用讯嫂,于是產(chǎn)生了GB2312漢字編碼,用2個字節(jié)表示絕大部分的常用漢字兆沙,最多可以表示65536個漢字字符

5. 由于每個國家字符集編碼不同欧芽,為了保證全世界通用性,產(chǎn)生了Unicode編碼葛圃,它將每一個符號都給予一個獨一無二的編碼千扔,現(xiàn)在Unicode可以容納100多萬個符號,每個符號的編碼都不一樣

6. Unicode 編碼 雖然統(tǒng)一了全世界字符的二進制編碼库正,但沒有規(guī)定如何存儲曲楚,如果Unicode統(tǒng)一規(guī)定每個符號用三個或四個字節(jié)表示,那么每個英文字母前都必然有二到三個字節(jié)是0褥符,文本文件的大小會大二三倍龙誊,這對于存儲來說是極大的浪費

7. Utf-8則是Unicode最重要的實現(xiàn)方式之一,另外還有utf-16喷楣、utf-32等趟大。UTF-8是一種變長的編碼方式,它可以使用1~4個字節(jié)表示一個符號铣焊,根據(jù)不同的符號而變化字節(jié)長度逊朽。這是種比較巧妙的設(shè)計,如果一個字節(jié)的第一位是0曲伊,則這個字節(jié)單獨就是一個字符叽讳;如果第一位是1,則連續(xù)有多少個1坟募,就表示當前字符占用多少個字節(jié)绽榛。?

8. 注意unicode的字符編碼和utf-8的存儲編碼表示是不同的,例如"嚴"字的Unicode碼是4E25婿屹,UTF-8編碼是E4B8A5灭美,UTF-8編碼不僅考慮了編碼,還考慮了存儲昂利,E4B8A5是在存儲識別編碼的基礎(chǔ)上塞進了4E25届腐。?

9.UTF-8 使用一至四個字節(jié)為每個字符編碼。128 個 ASCII 字符(Unicode 范圍由 U+0000 至 U+007F)只需一個字節(jié)蜂奸,帶有變音符號的拉丁文犁苏、希臘文、西里爾字母扩所、亞美尼亞語围详、希伯來文阿拉伯文、敘利亞文及馬爾代夫語(Unicode 范圍由 U+0080 至 U+07FF)需要二個字節(jié)助赞,其他基本多文種平面(BMP)中的字符(CJK屬于此類-Qieqie注)使用三個字節(jié)买羞,其他 Unicode 輔助平面的字符使用四字節(jié)編碼。?

10.通常中文漢字在utf-8中是3個字節(jié)雹食,最常見的編碼方式是1110xxxx 10xxxxxx 10xxxxxx畜普。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市群叶,隨后出現(xiàn)的幾起案子吃挑,更是在濱河造成了極大的恐慌,老刑警劉巖街立,帶你破解...
    沈念sama閱讀 212,686評論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件舶衬,死亡現(xiàn)場離奇詭異,居然都是意外死亡赎离,警方通過查閱死者的電腦和手機逛犹,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,668評論 3 385
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來蟹瘾,“玉大人圾浅,你說我怎么就攤上這事『镀樱” “怎么了狸捕?”我有些...
    開封第一講書人閱讀 158,160評論 0 348
  • 文/不壞的土叔 我叫張陵,是天一觀的道長众雷。 經(jīng)常有香客問我灸拍,道長,這世上最難降的妖魔是什么砾省? 我笑而不...
    開封第一講書人閱讀 56,736評論 1 284
  • 正文 為了忘掉前任鸡岗,我火速辦了婚禮,結(jié)果婚禮上编兄,老公的妹妹穿的比我還像新娘轩性。我一直安慰自己,他們只是感情好狠鸳,可當我...
    茶點故事閱讀 65,847評論 6 386
  • 文/花漫 我一把揭開白布揣苏。 她就那樣靜靜地躺著,像睡著了一般件舵。 火紅的嫁衣襯著肌膚如雪卸察。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 50,043評論 1 291
  • 那天铅祸,我揣著相機與錄音坑质,去河邊找鬼。 笑死,一個胖子當著我的面吹牛涡扼,可吹牛的內(nèi)容都是我干的稼跳。 我是一名探鬼主播,決...
    沈念sama閱讀 39,129評論 3 410
  • 文/蒼蘭香墨 我猛地睜開眼壳澳,長吁一口氣:“原來是場噩夢啊……” “哼岂贩!你這毒婦竟也來了茫经?” 一聲冷哼從身側(cè)響起巷波,我...
    開封第一講書人閱讀 37,872評論 0 268
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎卸伞,沒想到半個月后抹镊,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 44,318評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡荤傲,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,645評論 2 327
  • 正文 我和宋清朗相戀三年垮耳,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片遂黍。...
    茶點故事閱讀 38,777評論 1 341
  • 序言:一個原本活蹦亂跳的男人離奇死亡终佛,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出雾家,到底是詐尸還是另有隱情铃彰,我是刑警寧澤,帶...
    沈念sama閱讀 34,470評論 4 333
  • 正文 年R本政府宣布芯咧,位于F島的核電站牙捉,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏敬飒。R本人自食惡果不足惜邪铲,卻給世界環(huán)境...
    茶點故事閱讀 40,126評論 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望无拗。 院中可真熱鬧带到,春花似錦、人聲如沸英染。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,861評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽税迷。三九已至永丝,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間箭养,已是汗流浹背慕嚷。 一陣腳步聲響...
    開封第一講書人閱讀 32,095評論 1 267
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人喝检。 一個月前我還...
    沈念sama閱讀 46,589評論 2 362
  • 正文 我出身青樓嗅辣,卻偏偏與公主長得像,于是被迫代替她去往敵國和親挠说。 傳聞我的和親對象是個殘疾皇子澡谭,可洞房花燭夜當晚...
    茶點故事閱讀 43,687評論 2 351

推薦閱讀更多精彩內(nèi)容