2020-02-29 字符編碼知識(shí)

計(jì)算機(jī)只能處理數(shù)字舔痕,如果要處理文本扫倡,就必須先把文本轉(zhuǎn)換為數(shù)字才能處理

由于計(jì)算機(jī)是美國人發(fā)明的,因此藤巢,最早只有127個(gè)字符被編碼到計(jì)算機(jī)里搞莺,也就是大小寫英文字母、數(shù)字和一些符號(hào)掂咒,這個(gè)編碼表被稱為ASCII編碼才沧,比如大寫字母A的編碼是65,小寫字母z的編碼是122绍刮。

但是要處理中文顯然一個(gè)字節(jié)是不夠的温圆,至少需要兩個(gè)字節(jié),而且還不能和ASCII編碼沖突孩革,所以岁歉,中國制定了GB2312編碼,用來把中文編進(jìn)去膝蜈,日本把日文編到Shift_JIS里锅移,韓國把韓文編到Euc-kr里,各國有各國的標(biāo)準(zhǔn)饱搏,就會(huì)不可避免地出現(xiàn)沖突非剃,結(jié)果就是,在多語言混合的文本中推沸,編碼無非就是二進(jìn)制數(shù)據(jù)和字符集之間的一種映射备绽,不同的編碼標(biāo)準(zhǔn)就是不同的映射方式而已。問題是如果字符寫入時(shí)的編碼和讀取時(shí)的編碼不一樣了會(huì)亂碼坤学。

因此疯坤,Unicode應(yīng)運(yùn)而生。Unicode把所有語言都統(tǒng)一到一套編碼里深浮,這樣就不會(huì)再有亂碼問題了压怠。

Unicode標(biāo)準(zhǔn)也在不斷發(fā)展,但最常用的是用兩個(gè)字節(jié)表示一個(gè)字符(如果要用到非常偏僻的字符飞苇,就需要4個(gè)字節(jié))菌瘫。

ASCII編碼和Unicode編碼的區(qū)別:ASCII編碼是1個(gè)字節(jié)蜗顽,而Unicode編碼通常是2個(gè)字節(jié)。

字母A用ASCII編碼是十進(jìn)制的65雨让,二進(jìn)制的01000001雇盖;

字符0用ASCII編碼是十進(jìn)制的48,二進(jìn)制的00110000栖忠,注意字符'0'和整數(shù)0是不同的崔挖;

漢字中已經(jīng)超出了ASCII編碼的范圍,用Unicode編碼是十進(jìn)制的20013庵寞,二進(jìn)制的01001110 00101101狸相。

你可以猜測,如果把ASCII編碼的A用Unicode編碼捐川,只需要在前面補(bǔ)0就可以脓鹃,因此,A的Unicode編碼是00000000 01000001古沥。

如果統(tǒng)一成Unicode編碼瘸右,亂碼問題從此消失了。但是岩齿,如果你寫的文本基本上全部是英文的話太颤,用Unicode編碼比ASCII編碼需要多一倍的存儲(chǔ)空間,在存儲(chǔ)和傳輸上就十分不劃算

本著節(jié)約的精神纯衍,又出現(xiàn)了把Unicode編碼轉(zhuǎn)化為“可變長編碼”的UTF-8編碼栋齿。UTF-8編碼把一個(gè)Unicode字符根據(jù)不同的數(shù)字大小編碼成1-6個(gè)字節(jié),常用的英文字母被編碼成1個(gè)字節(jié)襟诸,漢字通常是3個(gè)字節(jié)瓦堵,只有很生僻的字符才會(huì)被編碼成4-6個(gè)字節(jié)。如果你要傳輸?shù)奈谋景罅坑⑽淖址枨祝肬TF-8編碼就能節(jié)省空間:

參考:
https://blog.csdn.net/u014495327/article/details/40380041

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末菇用,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子陷揪,更是在濱河造成了極大的恐慌惋鸥,老刑警劉巖,帶你破解...
    沈念sama閱讀 211,194評(píng)論 6 490
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異,居然都是意外死亡街望,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,058評(píng)論 2 385
  • 文/潘曉璐 我一進(jìn)店門滤港,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人趴拧,你說我怎么就攤上這事溅漾∩蕉#” “怎么了?”我有些...
    開封第一講書人閱讀 156,780評(píng)論 0 346
  • 文/不壞的土叔 我叫張陵添履,是天一觀的道長屁倔。 經(jīng)常有香客問我,道長暮胧,這世上最難降的妖魔是什么锐借? 我笑而不...
    開封第一講書人閱讀 56,388評(píng)論 1 283
  • 正文 為了忘掉前任,我火速辦了婚禮叔壤,結(jié)果婚禮上瞎饲,老公的妹妹穿的比我還像新娘。我一直安慰自己炼绘,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,430評(píng)論 5 384
  • 文/花漫 我一把揭開白布妄田。 她就那樣靜靜地躺著俺亮,像睡著了一般。 火紅的嫁衣襯著肌膚如雪疟呐。 梳的紋絲不亂的頭發(fā)上脚曾,一...
    開封第一講書人閱讀 49,764評(píng)論 1 290
  • 那天,我揣著相機(jī)與錄音启具,去河邊找鬼本讥。 笑死,一個(gè)胖子當(dāng)著我的面吹牛鲁冯,可吹牛的內(nèi)容都是我干的拷沸。 我是一名探鬼主播,決...
    沈念sama閱讀 38,907評(píng)論 3 406
  • 文/蒼蘭香墨 我猛地睜開眼薯演,長吁一口氣:“原來是場噩夢啊……” “哼撞芍!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起跨扮,我...
    開封第一講書人閱讀 37,679評(píng)論 0 266
  • 序言:老撾萬榮一對(duì)情侶失蹤序无,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后衡创,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體帝嗡,經(jīng)...
    沈念sama閱讀 44,122評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,459評(píng)論 2 325
  • 正文 我和宋清朗相戀三年璃氢,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了哟玷。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 38,605評(píng)論 1 340
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡拔莱,死狀恐怖碗降,靈堂內(nèi)的尸體忽然破棺而出隘竭,到底是詐尸還是另有隱情,我是刑警寧澤讼渊,帶...
    沈念sama閱讀 34,270評(píng)論 4 329
  • 正文 年R本政府宣布动看,位于F島的核電站,受9級(jí)特大地震影響爪幻,放射性物質(zhì)發(fā)生泄漏菱皆。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,867評(píng)論 3 312
  • 文/蒙蒙 一挨稿、第九天 我趴在偏房一處隱蔽的房頂上張望仇轻。 院中可真熱鬧,春花似錦奶甘、人聲如沸篷店。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,734評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽疲陕。三九已至,卻和暖如春钉赁,著一層夾襖步出監(jiān)牢的瞬間蹄殃,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 31,961評(píng)論 1 265
  • 我被黑心中介騙來泰國打工你踩, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留诅岩,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 46,297評(píng)論 2 360
  • 正文 我出身青樓带膜,卻偏偏與公主長得像吩谦,于是被迫代替她去往敵國和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子钱慢,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,472評(píng)論 2 348

推薦閱讀更多精彩內(nèi)容

  • 1逮京、引言 在顯示器上看見的文字、圖片等信息在電腦里面其實(shí)并不是我們看見的樣子束莫,即使你知道所有信息都存儲(chǔ)在硬盤里懒棉,把...
    冰河winner閱讀 848評(píng)論 0 0
  • 大概每個(gè)人在使用軟件時(shí)都遇到過亂碼的問題,這是由于字符的編碼和解碼方式不一致導(dǎo)致览绿,我們知道計(jì)算機(jī)只認(rèn)識(shí)二進(jìn)制數(shù)據(jù)策严,...
    楚客閱讀 1,417評(píng)論 1 9
  • 前言 很多程序員對(duì)字符編碼不太理解,當(dāng)然平時(shí)接觸的也不是很多饿敲∑薜迹可能只是大概知道 ASCII、UTF8、GBK倔韭、Un...
    ZhengYaWei閱讀 1,396評(píng)論 0 7
  • 上個(gè)月末蘋果公布北京時(shí)間9月13日凌晨舉辦發(fā)布會(huì)之后寿酌,國產(chǎn)手機(jī)廠商扎堆放出全面屏海報(bào)胰苏。小米MIX2,OPPO X2...
    筆點(diǎn)酷玩閱讀 171評(píng)論 0 1
  • 有趣多一點(diǎn)醇疼,植物:除了蒲公英之外硕并,柳樹也是依靠風(fēng)力傳播后代的,它的種子外面包著白絨毛似的柳絮秧荆,好像蒲公英果實(shí)的絨毛...
    糕冷小誌閱讀 661評(píng)論 1 5