文本編碼

1.為什么需要編碼

? ??????計(jì)算機(jī)只能處理數(shù)字,如果要處理文本吓歇,就必須先把文本轉(zhuǎn)換為數(shù)字才能處理雳窟。一個(gè)字節(jié)能表示的最大的整數(shù)就是255尊浪,如果要表示更大的整數(shù)匣屡,就必須用更多的字節(jié)。


2.常見(jiàn)幾種編碼

● ?ASCII編碼:

? ? ? ? 計(jì)算機(jī)是美國(guó)發(fā)明的拇涤,最開(kāi)始只有127個(gè)字符(常用英文和符號(hào))捣作,用一個(gè)字節(jié)就可以全部表示。

● ?GB2312:

? ? ? ? 漢子遠(yuǎn)不止127個(gè)鹅士,所以至少用兩個(gè)字節(jié)表示券躁。所以中國(guó)標(biāo)準(zhǔn)制定了GB2312,里面包含了常用的漢字掉盅。GBK基于GB2312也拜,包含更多生僻字,支持簡(jiǎn)繁雙體趾痘;GB18030基于GBK慢哈,包含更多生僻字,支持少數(shù)民族文字永票。

● ?Unicode

? ? ? ? 但是有些文章是多個(gè)國(guó)家混合語(yǔ)言的卵贱,全世界的語(yǔ)言兩個(gè)字節(jié)無(wú)法全部表示。Unicode把所有語(yǔ)言都統(tǒng)一到一套編碼里侣集,這樣就不會(huì)再有亂碼問(wèn)題了键俱。????

● ?uft-8

? ? ? ? 加入一篇文章主要是英文,只是混合了少量其他國(guó)家語(yǔ)言世分。這時(shí)候存儲(chǔ)一個(gè)英文字符编振,本來(lái)只需要1個(gè)字節(jié),用Unicode需要多個(gè)字節(jié)臭埋。所以出現(xiàn)了“可變長(zhǎng)編碼”的UTF-8編碼党觅。UTF-8編碼把一個(gè)Unicode字符根據(jù)不同的數(shù)字大小編碼成1-6個(gè)字節(jié),常用的英文字母被編碼成1個(gè)字節(jié)斋泄,漢字通常是3個(gè)字節(jié),只有很生僻的字符才會(huì)被編碼成4-6個(gè)字節(jié)镐牺。????

? ? ? ? 其他國(guó)家的用戶無(wú)需安裝中文支持就可以直接瀏覽utf-8的中文網(wǎng)站炫掐。

? ? ? ? 在計(jì)算機(jī)內(nèi)存中,統(tǒng)一用Unicode中編碼睬涧,比如記事本編輯的時(shí)候募胃,從文件讀取的UTF-8字符被轉(zhuǎn)換為Unicode字符到內(nèi)存里,編輯完成后畦浓,保存或傳輸時(shí)再把Unicode轉(zhuǎn)換為UTF-8痹束。


3.全角和半角

? ??????全角占兩個(gè)字節(jié),半角占一個(gè)字節(jié)讶请,半角全角主要是針對(duì)標(biāo)點(diǎn)符號(hào)來(lái)說(shuō)的祷嘶。不管全角半角漢字都占用兩個(gè)字節(jié)屎媳。搜狗里用shift+space切換全角和半角。

? ? ? ? 漢語(yǔ)等文字語(yǔ)言的字庫(kù)量遠(yuǎn)大于256個(gè)论巍,所以改用兩個(gè)字節(jié)來(lái)儲(chǔ)存烛谊。如果統(tǒng)一使用全角字符的話,排列起來(lái)也顯得整齊嘉汰,英文和其它拉丁文的字符和標(biāo)點(diǎn)也提供了全角格式丹禀。如果全英文或系統(tǒng)命令就用半角即可。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末鞋怀,一起剝皮案震驚了整個(gè)濱河市双泪,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌密似,老刑警劉巖焙矛,帶你破解...
    沈念sama閱讀 222,946評(píng)論 6 518
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異辛友,居然都是意外死亡薄扁,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,336評(píng)論 3 399
  • 文/潘曉璐 我一進(jìn)店門(mén)废累,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)邓梅,“玉大人,你說(shuō)我怎么就攤上這事邑滨∪沼В” “怎么了?”我有些...
    開(kāi)封第一講書(shū)人閱讀 169,716評(píng)論 0 364
  • 文/不壞的土叔 我叫張陵掖看,是天一觀的道長(zhǎng)匣距。 經(jīng)常有香客問(wèn)我,道長(zhǎng)哎壳,這世上最難降的妖魔是什么毅待? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 60,222評(píng)論 1 300
  • 正文 為了忘掉前任,我火速辦了婚禮归榕,結(jié)果婚禮上尸红,老公的妹妹穿的比我還像新娘。我一直安慰自己刹泄,他們只是感情好外里,可當(dāng)我...
    茶點(diǎn)故事閱讀 69,223評(píng)論 6 398
  • 文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著特石,像睡著了一般盅蝗。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上姆蘸,一...
    開(kāi)封第一講書(shū)人閱讀 52,807評(píng)論 1 314
  • 那天墩莫,我揣著相機(jī)與錄音芙委,去河邊找鬼。 笑死贼穆,一個(gè)胖子當(dāng)著我的面吹牛题山,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播故痊,決...
    沈念sama閱讀 41,235評(píng)論 3 424
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼顶瞳,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了愕秫?” 一聲冷哼從身側(cè)響起慨菱,我...
    開(kāi)封第一講書(shū)人閱讀 40,189評(píng)論 0 277
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎戴甩,沒(méi)想到半個(gè)月后符喝,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 46,712評(píng)論 1 320
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡甜孤,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,775評(píng)論 3 343
  • 正文 我和宋清朗相戀三年协饲,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片缴川。...
    茶點(diǎn)故事閱讀 40,926評(píng)論 1 353
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡茉稠,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出把夸,到底是詐尸還是另有隱情而线,我是刑警寧澤,帶...
    沈念sama閱讀 36,580評(píng)論 5 351
  • 正文 年R本政府宣布恋日,位于F島的核電站膀篮,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏岂膳。R本人自食惡果不足惜誓竿,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 42,259評(píng)論 3 336
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望谈截。 院中可真熱鬧烤黍,春花似錦、人聲如沸傻盟。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 32,750評(píng)論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)娘赴。三九已至,卻和暖如春跟啤,著一層夾襖步出監(jiān)牢的瞬間诽表,已是汗流浹背唉锌。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,867評(píng)論 1 274
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留竿奏,地道東北人袄简。 一個(gè)月前我還...
    沈念sama閱讀 49,368評(píng)論 3 379
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像泛啸,于是被迫代替她去往敵國(guó)和親绿语。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,930評(píng)論 2 361

推薦閱讀更多精彩內(nèi)容

  • 繞著公園藍(lán)色跑道走了一圈候址,這個(gè)下午吕粹,印入眼簾的公園風(fēng)景,有一種淡淡的幽靜之美岗仑。 坐在草坪上匹耕,看左手邊水臺(tái)上來(lái)來(lái)往往...
    樂(lè)樂(lè)安兒閱讀 158評(píng)論 0 0
  • 四月天真是多情的季節(jié),拋著媚眼的風(fēng)兒吹皺了一池春水荠雕,吹軟了柳枝的腰身稳其;吹美了一樹(shù)又一樹(shù)的桃花。又兀自的粉紅粉白炸卑,美...
    元初閱讀 377評(píng)論 0 2
  • 1.本次出行花費(fèi)大約3000元既鞠,交通費(fèi)占一大半 2.大連私家車很多,也很彪矾兜,地鐵人少损趋,來(lái)得也慢 3.去大連還是得準(zhǔn)...
    吳小刀_db4d閱讀 291評(píng)論 0 0
  • 在靠窗的位置靜靜的聽(tīng)著小店音響歡快的輕音樂(lè),看著窗外馬路上來(lái)往的車輛和行人椅寺。 匆忙 歡喜 憂郁 迷茫 或幸...
    一粒簡(jiǎn)單閱讀 191評(píng)論 0 0