對(duì)于文件編碼格式的淺顯理解

字體亂碼這個(gè)問題相信大家都遇到過铅忿,但是都是間歇性的剪决,不是經(jīng)常性的,大多時(shí)候都沒有太在意檀训。
在遇到過這么多次亂碼之后柑潦,特別是在linux下打開windows的文件亂碼,我覺得有必要了解一下編碼方式了峻凫。

首先渗鬼,計(jì)算機(jī)內(nèi)部只能存儲(chǔ)二進(jìn)制數(shù)據(jù),即1和0的bit位荧琼。所以譬胎,我們要讓計(jì)算機(jī)顯示各種字符,就必須要對(duì)字符進(jìn)行編碼命锄,讓每一個(gè)字符對(duì)應(yīng)一個(gè)數(shù)字編碼堰乔。而之所以會(huì)造成亂碼現(xiàn)象,是因?yàn)楫?dāng)初創(chuàng)建文件的時(shí)候采用的編碼方式累舷,和打開時(shí)的編碼方式不一樣浩考,這樣的對(duì)應(yīng)關(guān)系就亂了,于是我們看到的就是亂七八糟的被盈。

ASCII

計(jì)算機(jī)是美國人發(fā)明的析孽,所以最初的計(jì)算機(jī)理所應(yīng)當(dāng)支持的就是英文字母以及英文里面的各種符號(hào)。由于這些字符不怎么多只怎,美國人就提出了ASCII編碼袜瞬,只用一個(gè)字節(jié)(byte)表示一個(gè)字符。

unicode

隨著計(jì)算機(jī)的發(fā)展身堡,計(jì)算機(jī)只能顯示英語是絕對(duì)不行的邓尤,要不然怎么有我現(xiàn)在的這篇文章呢?而并不是所有語言都像英語一樣可以用一個(gè)字節(jié)表示一個(gè)字符(像我大中華便有好幾萬字符),于是各個(gè)國家紛紛開始提出自己國家文字的編碼方式汞扎。但是世界上這么多國家季稳,這么多語言,要是每個(gè)國家都有自己的標(biāo)準(zhǔn)澈魄,那一臺(tái)計(jì)算機(jī)上不得有好多種編碼方式啊景鼠,這會(huì)造成一種混亂。

這時(shí)痹扇,多語言軟件制造商組成的統(tǒng)一碼(unicode)聯(lián)盟出手了铛漓,這個(gè)組織在1994年正式提出了unicode編碼。正如unicode這個(gè)名字鲫构,它足以表示世界上所有語言中的字符浓恶,現(xiàn)在在世界上被廣泛采用。

ISO/IEC 10646

在“統(tǒng)一”這個(gè)方面怎么能少的了ISO這個(gè)組織结笨,在unicode聯(lián)盟研發(fā)unicode時(shí)包晰,ISO也在研發(fā)用于各種國家之間的編碼方式,ISO定義了UCS(通用字符集)禀梳,定義了ISO/IEC 10646杜窄。ISO和unicode聯(lián)盟很快認(rèn)識(shí)到研發(fā)兩個(gè)不同的統(tǒng)一碼是不必要的肠骆,所以他們選擇了合作算途,于是現(xiàn)在它們從內(nèi)容上來說是同步一致的。

UTF-8

UTF-8,UTF-16以及UTF-32都是unicode的實(shí)現(xiàn)方式蚀腿。
對(duì)實(shí)現(xiàn)方式的理解:unicode編碼使一個(gè)字符對(duì)應(yīng)于一個(gè)數(shù)字編碼嘴瓤,但是在計(jì)算機(jī)內(nèi)部不是簡(jiǎn)單的存入這個(gè)編碼值,這是為了對(duì)計(jì)算機(jī)中的內(nèi)容進(jìn)行更好的組織莉钙。所以就有了幾種實(shí)現(xiàn)方式廓脆,將這些數(shù)字編碼再映射到計(jì)算機(jī)內(nèi)存中的二進(jìn)制碼。其中UTF-8就是在互聯(lián)網(wǎng)的發(fā)展磁玉,強(qiáng)烈需求下產(chǎn)生的停忿。

中文編碼

在unicode提出之前,我國就已經(jīng)提出了自己的漢字編碼

  • GB2312 1981年蚊伞,GB是國標(biāo)的意思
  • BIG5 1984年臺(tái)灣一群人為了解決當(dāng)時(shí)大陸的GB2312沒有覆蓋繁體而提出的
  • GBK 對(duì)國標(biāo)的擴(kuò)展席赂,向下兼容GB2312,向上支持ISO/IEC 10646
  • GB18030 我國政府于2000年3月17日發(fā)布的新的漢字編碼國家標(biāo)準(zhǔn),2001年8月31日后在中國市場(chǎng)上發(fā)布的軟件必須符合本標(biāo)準(zhǔn)时迫。

至于中國為什么使用自己規(guī)定的國標(biāo)碼而不使用unicode颅停,這個(gè)問題我沒有找到答案,有知道的在評(píng)論區(qū)告知一下呢掠拳?

亂碼

Linux下默認(rèn)是UTF-8癞揉,而windows可能是GB18030,于是這亂碼就不奇怪了
還有各種奇奇怪怪的亂碼原理都一樣,可以通過轉(zhuǎn)換編碼的軟件(比如enca)轉(zhuǎn)文件的編碼格式


大致就是這樣了喊熟,這里我說的是編碼方式柏肪,有一個(gè)概念叫字符集,規(guī)定了每個(gè)字符對(duì)應(yīng)的編碼芥牌,其實(shí)就是編碼方式预吆,把一件事搞清楚了就好了,不用糾結(jié)文字胳泉。
如果哪里寫的不對(duì)拐叉,請(qǐng)各位大神們指出啊

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市扇商,隨后出現(xiàn)的幾起案子凤瘦,更是在濱河造成了極大的恐慌,老刑警劉巖案铺,帶你破解...
    沈念sama閱讀 217,542評(píng)論 6 504
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件蔬芥,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡控汉,警方通過查閱死者的電腦和手機(jī)笔诵,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,822評(píng)論 3 394
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來姑子,“玉大人乎婿,你說我怎么就攤上這事〗钟樱” “怎么了谢翎?”我有些...
    開封第一講書人閱讀 163,912評(píng)論 0 354
  • 文/不壞的土叔 我叫張陵,是天一觀的道長沐旨。 經(jīng)常有香客問我森逮,道長,這世上最難降的妖魔是什么磁携? 我笑而不...
    開封第一講書人閱讀 58,449評(píng)論 1 293
  • 正文 為了忘掉前任褒侧,我火速辦了婚禮,結(jié)果婚禮上谊迄,老公的妹妹穿的比我還像新娘闷供。我一直安慰自己,他們只是感情好鳞上,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,500評(píng)論 6 392
  • 文/花漫 我一把揭開白布这吻。 她就那樣靜靜地躺著,像睡著了一般篙议。 火紅的嫁衣襯著肌膚如雪唾糯。 梳的紋絲不亂的頭發(fā)上怠硼,一...
    開封第一講書人閱讀 51,370評(píng)論 1 302
  • 那天,我揣著相機(jī)與錄音移怯,去河邊找鬼香璃。 笑死,一個(gè)胖子當(dāng)著我的面吹牛舟误,可吹牛的內(nèi)容都是我干的葡秒。 我是一名探鬼主播,決...
    沈念sama閱讀 40,193評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼嵌溢,長吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼眯牧!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起赖草,我...
    開封第一講書人閱讀 39,074評(píng)論 0 276
  • 序言:老撾萬榮一對(duì)情侶失蹤学少,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后秧骑,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體版确,經(jīng)...
    沈念sama閱讀 45,505評(píng)論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,722評(píng)論 3 335
  • 正文 我和宋清朗相戀三年乎折,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了绒疗。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 39,841評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡骂澄,死狀恐怖吓蘑,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情酗洒,我是刑警寧澤士修,帶...
    沈念sama閱讀 35,569評(píng)論 5 345
  • 正文 年R本政府宣布,位于F島的核電站樱衷,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏酒唉。R本人自食惡果不足惜矩桂,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,168評(píng)論 3 328
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望痪伦。 院中可真熱鬧侄榴,春花似錦、人聲如沸网沾。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,783評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽辉哥。三九已至桦山,卻和暖如春攒射,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背恒水。 一陣腳步聲響...
    開封第一講書人閱讀 32,918評(píng)論 1 269
  • 我被黑心中介騙來泰國打工会放, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人钉凌。 一個(gè)月前我還...
    沈念sama閱讀 47,962評(píng)論 2 370
  • 正文 我出身青樓咧最,卻偏偏與公主長得像,于是被迫代替她去往敵國和親御雕。 傳聞我的和親對(duì)象是個(gè)殘疾皇子矢沿,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,781評(píng)論 2 354

推薦閱讀更多精彩內(nèi)容